欢迎您阅览陕西科技报!
通版阅读请点击:
展开通版
收缩通版
当前版:03版
发布日期:
ChatGPT如何练就对答如流的本领

  到今年11月份,ChatGPT就“一岁”了。以ChatGPT为代表的人工智能模型正在以惊人的速度快速迭代,ChatGPT的原理是什么?它真的有可能取代人类吗?
  “套娃”方式让ChatGPT实现长文本生成
  英文缩写ChatGPT全名是Generative Pre-trained Trans-former,翻译过来就是“生成式预训练转换器”。从这个名字我们就能看出,它是一个可以生成内容的预训练模型。
  如果只是一个字一个字地生成,想要生成一段长文本岂不是太慢了?这就需要用到“套娃”的方法,就是每生成一个字,就把它和前面的内容组合起来,作为新的前文再去生成下一个字,如此反复,就可以生成任意长的文章。
  生成内容受两个因素影响,并非随机答案
  ChatGPT生成出来的内容是不是完全随机呢?答案是否定的。因为生成的内容受两个因素影响:一是前面的上下文,二是ChatGPT自身的语言模型。简单来说,相同的上文会因为不同的模型而生成不同的内容,而相同的模型在不同的上文下也会生成不同的内容。就好比“守株待兔”后面应该连接什么字都有自己的理解一样。
  ChatGPT通过学习能自己生成新答案
  如果训练过“守株待兔,猛虎”,看到“守望相助,英雄辈出”也知道下一句应该是“猛虎”,这就是ChatGPT的泛化能力,就是可以应用学习的规律回答没有见过的问题,这与我们通过学习就会应用道理回答新的问题是一样的。
  ChatGPT回答问题也是这样的原理,给它提供大量正确的问答范例进行学习,它就掌握了回答这个类型问题的方法,从而可以回答没有见过的新问题。
  不过,ChatGPT的答案不一定正确,因为它可能按照错误的规律生成虚假内容,就像我们也可能从错误例子中学习到错误的知识一样,产生不符合事实的答案。
  得益于极大的模型规模和三段训练法
  ChatGPT为何能达到如此惊人的语言生成效果呢?ChatGPT吸收了上亿条互联网数据进行无监督预训练,掌握了广泛的语言知识,人工设计语言交互模板规范它的行为,最后通过人工提问,不断反馈训练,提升创造力。通过这样逐步的训练,ChatGPT才能超越我们的预期,完成很多复杂的语言任务。
  作为人造系统,ChatGPT也有局限性,生成的内容不可全部相信,需要人类进行监督与评估。就像任何技术一样,只能作为辅助工具而不应该也不可能取代人类创造力和意识,它终究需要人来指导运用。让我们积极而理性地看待这项科技进步,以人为本,造福社会。

(冯润)


社址:西安市药王洞155号 邮编:710003 电话/编辑部:029-87345421
广告部:029-87347875 投稿信箱:sxkjb169@aliyun.com 版权所有:陕西科技报社 技术支持:锦华科技