11月30日，OpenAI发表对话最佳化语言模型ChatGPT，该模型能够以对话的方式与使用者进行互动，对话的格式让ChatGPT可以回答后续问题、承认错误、质疑不正确的前提以及拒绝不适当的要求。 ChatGPT目前为研究预览阶段，供用户免费试用。
ChatGPT能以对话的方式帮助使用者解决各种问题，像是开发人员可以贴一段存在臭虫的程式码，并且要求ChatGPT提供除错方法，ChatGPT会利用对话与开发者互动询问更多资讯，以提供具体有效的解法。当然用户也可以跟ChatGPT讨论有关费马小定理，或是要求ChatGPT编写一段跟邻居自我介绍的文字，而ChatGPT会拒绝回答用户，诸如侵入他人房子的方法等提问。
ChatGPT从GPT-3.5的模型微调而成，研究人员运用与之前训练语言服务模型InstructGPT相同的方法，以人类回馈增强学习（RLHF）训练该模型，但在资料收集配置上略作调整。 ChatGPT仍存在一些限制，像是ChatGPT有时会写出看似合理，但是不正确或荒谬的答案，研究人员解释，主要原因有三个，除了在增强训练时缺乏事实来源之外，训练模型因为过度谨慎，可能会拒绝回答可以正确回答的问题，又或是在监督训练时被误导。
ChatGPT对输入的措辞调整非常敏感，当用户在查询问题时，可以尝试调整措辞或以相同提示多试几次，当模型表示不知道答案，可能用户只要稍微改写句子，模型就能够正确回答。
研究人员还提到，有时候ChatGPT的解释会过度冗长或是不停重复部分词语，像是一直重申他是由OpenAI训练的语言模型，而原因来自训练资料的偏差，因为人工智慧训练者喜欢更全面且更长的回答，再加上常见的模型过度最佳化问题，让ChatGPT出现重复语句的问题。在理想的情况，当用户提出模棱两可的查询时，模型会提出问题试图澄清查询，但当前模型通常倾向猜测用户的意图。
另外，虽然OpenAI尽量让ChatGPT能够拒绝不当请求，但是ChatGPT有时候仍会回应有害指令或是出现偏见行为，研究人员以Moderation API来警告或阻挡特定类型的不安全内容，但是预期会有部分遗漏，他们会收集用户回馈，并且改进该系统。
主题测试文章，只做测试使用。发布者：星球长，转转请注明出处：https://crstai.com/post/43/
