美国斯坦福大学发布《基础模型的机遇与挑战》,论述在人工智能基础模型成为趋势的环境下,其发展面临的机遇与挑战。文章指出,基础模型的应用使得自监督学习+预训练模型微调适配方案逐渐成为主流,并带来了智能体认知能力的进步。但同时由于基础模型的任何一点改进会迅速覆盖整个AI社区,其隐患在于基础模型的缺陷也会被所有下游模型所继承。
斯坦福大学学者谈到的基础模型,国际上也称预训练模型,也被国内研究者称为大模型。
像发电厂一样不断供应“智力源”
深度学习技术兴起的近10年间,AI模型基本上是针对特定应用场景需求进行训练的小模型。小模型用特定领域有标注的数据训练,通用性差,换到另外一个应用场景中往往不适用,需要重新训练。另外,小模型的训练方式基本是“手工作坊式”,调参、调优的手动工作太多,需要大量的AI工程专业人员来完成。同时,传统模型训练需要大规模的标注数据,如果某些应用场景的数据量少,训练出的模型精度就会不理想。
小模型的这些问题,导致当前AI研发整体成本较高,效率偏低。由于AI人才短缺以及成本昂贵,对于中小行业用户来说,小模型的这些问题阻碍了行业用户采用人工智能技术的脚步,成为AI普惠的障碍。
人工智能大模型是“大数据+大算力+强算法”结合的产物,是集成大数据内在精华的‘隐式知识库’,也是实现人工智能应用的载体。大模型是连接人工智能技术生态和产业生态的桥梁,向下带动基础软硬件发展,向上支撑了智能应用百花齐放,是整个人工智能生态的核心。
通用智能应用前景广阔
AI大模型通常是在大规模无标注数据上进行训练,学习数据中蕴含的特征、结构和知识。
超大规模预训练模型的出现,很可能改变信息产业格局,即基于数据的互联网时代、基于算力的云计算时代之后,接下来可能将进入基于大模型的AI时代。
据介绍,超大规模智能模型的通用智能能力在医疗、金融、新闻传播等行业应用前景广阔。例如,在医疗健康领域,大模型在医疗数据格式化、病历自动解读与分析、自动问诊系统等方面都可以发挥巨大效用。在金融、法律、财务、人力资源、零售等传统行业领域,大模型能提供高性能的智能信息解析和提取、智能数据整合、自动机器翻译、辅助决策等功能,提升业务流程效率和水平。在新闻传播领域,基于模型可实现智能新闻线索收集、机器写作、辅助编辑、虚拟主播等应用。目前,智源悟道大模型,也在为北京冬奥会提供新场景下的人工智能服务应用;并正在通过大模型开启手机AI语音技术新路径,赋能智能终端新一轮AI体验革新。
(华 凌)