- GPT X(生成文字)是预训练模型,俗称大模型,Codex(生成代码)、Embedding(生成向量,用于search,classify,compare text)都是基于GPT X模型派生的。
- GPT架构是地表最强自然语言类深度学习架构,用来理解文字并做出相应的输出。当前text-devinci-003为Azure最强AI产品,数据截止到2021年6月。
- ChatGPT和DALL-E是以GPT3.5(生成文字)为基础衍生出来的应用,不是模型。ChatGPT优化问题解答和对话形式输出,DALL-E优化了RGB三原色输出。Azure将在3月份上架Enterprise chatGPT的应用,能够加强已有的对话机器人,建设完成的对话机器人,增强客服员工的体验。chatGPT让客服AI体验体验更好,可提升的地方在于语义理解、按场景动态生成自然对话、多轮对话(上下文继承)、多语种对话,Text-to-speech。结合文字转语音,在Car insurance(车险)案例中表现优异。
- 微软主要控股OpenAI,并为其研究提供了基础支撑,包括:MLOps(机器学习平台)、训练框架(Deepspeed)、基础算力(微软提供的超级计算环境),收购的成本以基础设施支付。
- Azure AI中OpenAI Service是可定制的AI模型,提供认知服务。Azure的Bot Service为基于场景的服务,即认知服务的应用,各厂商在此基础上催生了很多的partner Solution。客服中心和会话AI是H3C关注领域,提供智能协助,成为虚拟助手,识别客户情绪,优先应对情绪不佳的客户。
- **Azure OpenAI服务如何保障数据安全?**部署在自己的Azure订阅中,只由所有者保护和访问,并与个人数据集和应用程序绑定,提供专用网络的企业级安全,基于角色的访问控制(RBAC)。
- Azure OpenAI申请方式:(1)具备一个Azure国际版订阅 (2)需要完成的构思好应用场景 (3)访问http://aka.ms/oai/access
- GPT-3的主要概念:Prompt(文本输入提示,为引擎提供上下文)、Completion(GPT-3根据提示生成的输出)、Tokens(令牌,可理解为较小的乐高积木,组合成词语,100令牌约等于75单词。API在处理文本之前将文本分为令牌,令牌决定价格,Prompt和completion都计算Tokens)。
- Prompting Engineering指导:通俗的理解就是用户要知道如何合理的进行提问,这一个专题。Prompting Engineering指导1:Few-Shot Reasoning(可解释性);
Prompting Engineering指导2:Model Reasoning-Chain-of-Thought
多个不同任务,语料不一样,模型的标签准备也不一样。 - GPT-3有当前有四个模型,Ada、Babbage、Curie、Davinci,都是人名,能力越来越强,Davinci只接受4000tokens的Prompt,其他三种都是2048tokens。Codex模型有两种Cushman-codex和Davinci-codex。企业在选择模型时,可以从高到低依次试用。
- GPT、Codex、Embedding都能做什么?GPT-X【生成文章、归纳总结、打标签分类】Codex【文字转代码和SQL】Embedding【文字转矢量,帮助生成更强大的知识库(聚类),万科预警平台案例】DALL-E【文字转图片】。
- DALL.E2现在是2代模型,目前在Azure上还是内测版本(preview),可通过简单的文本生成无限多的原创图像,加速设计或激发创造性决策,价格感人。
- OpenAI需求关注点,考虑这5点权衡是否使用:(1) 同时处理多个task的通用模型 (2)生产人工模拟内容,同时保护数据隐私和安全 (3)需要加速的原型设计和上市,满足多种应用场景 (4)希望使用一个少量训练或零训练的模型 (5)查找之前描述过的解决 方案或用户案例。
- 国外应用案例介绍:CARmax(二手车商,完成了11年的车辆数据摘要),Mount BladeII(角色扮演游戏,Fine-Tuning结合TTS Custom Neural Voice和Cross Lingual Adaptation实现更强大的NPC表现力及游玩体验),Viva Sales(结合CRM资料,自动撰写邮件),sogeti(虚拟数字人),Farlands(农产品收购集团,试用OpenAI Service获取Dynamics沟通记录中的情绪价值)。
- Fine-Tuning的最佳实践
- Make sure to completely remove wrong labels in Fine-Tuning dataset
- Pre-existing dataset:offensive or inaccurate content
- Large dataset;review as many random samples as possible
- Conditional Generation
- 在提示末尾使用分隔符\n\n###\n\n。最终向模型发出请求时也要追加此分隔符。
- 在完成结果结尾时使用结束标记,例如END。
- 在推理时将结束标记添加为停止序列,例如stop=[”END”]
- 至少约500个示例。
- 确保提示加上完整结果不超过2048个标记(包括分隔符)。
- 高质量的示例遵循相同的所需格式。
- 用于微调的数据集在结构和任务类型上与模型未来的用途非常接近。
- Make sure to completely remove wrong labels in Fine-Tuning dataset
- 探索:Extend CLU to Conversational AI with GPT
- Current challanges
- Language service provided a subset of AI needed for conversational experiences
- CLU offers language understanding(intent/entities)
- CQA offers extrative QA used as fallback
- Lack of modern solution for language generation and dialog
- Rules-based language generation by Bot Framework/PVA/Nuance
- Rules-based and rigid dialog for slot filling by Bot Framework/PVA/Nuance
- Language service provided a subset of AI needed for conversational experiences
- Opportunity——核心:相辅相成
- Extend CLU to offer more natural interactions modernized LG powered by chatGPT
- Upgrade CLU to offer dynamic dialog manager through chatGPT
- Offer rich Question Answering grounded with enterprise data using GPT
- Current challanges
更多推荐
关于chatGPT的几点了解
发布评论