十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

2023-05-28 0 677

AI(人工睿智)毫无疑问是当今社会资本市场最火爆的概念。年末,ChatGPT展现出强悍的能力,AI大潮随即刮起全球。不少人认为,这是未来10-20年最重要的科技主轴之一。

回到广发基金的视角,他们企图从纳氏林基本原理出我们。

相对于其他亚种,人类文明的睿智在于他们是工具造物主。简述微积分史,所有生物学家一直在崇尚:人类文明是不是可能创造出和他们一样类似的高阶智人?AGI(Artificial general intelligence通用型人工睿智)是计算机系统产业发展三四个多世纪以来不断崇尚的“死神”。

ChatGPT给我们打开了这个想像空间。

2.ChatGPT能做甚么?

念书画画、位数分析、信息提炼出、归纳科学知识、教授方法、智囊团撷取、译者等等,ChatGPT用谈话的形式展现出了大词汇微积分模型在内容重新整理和全文方面的冲破性重大进展。每一人都能透过自己的积极探索发现捷伊AI应用情景,以前他们需要100个APP的工作,一个AI机器就能完成。甚至他们每一人都能成为AI生物学家。

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

3.ChatGPT从哪里来?另一面的核心理念基本原理是甚么?

ChatGPT并不是陨落。70百余年来,整个计算机系统控制技术的产业发展在一定程度上都能看做对人工睿智控制技术的无数次冲破和行进,从早期记号主义者、方法论主义者的简单准则增设,到今天大词汇微积分模型代表的统计数据规律胜利,人类文明在一点一点迈入通用型人工睿智。

20年来人工睿智的最大冲破是从拼接方法论到统计数据学,而ChatGPT是过去二十年来AI控制技术累积的集中丰硕成果展现。

ChatGPT另一面的控制技术原动力泉是LLM大词汇微积分模型(Large Language Model),LLM另一面的核心理念基本原理是统计数据计算。透过建立一个有几十亿个表达式的复杂微积分方程组来演示他们神经系统中的词汇准则,一旦得到方程组,每一词都变成了机率,词汇就能被算出。相当于他们只要有这个方程组就知道这句话该这样说,或者这句话之后表意甚么。

举个例子,假如他们让AI做续写“The best thing about AI is its ability to”,让它给我补充后面的句子该填写甚么,这时机器会怎么做呢?它透过海量语料发现前面出现“The best thing about AI is its ability to”之后,出现最高机率的五个词是do、understand、make、predict、learn,它在其中选择机率较高的learn补全了这个句子。本质上所谓的大词汇微积分模型是选出最可能的下一个词。

如果我们用过ChatGPT类的产品,会发现一个很有意思的交互特征,是它的词是一个一个往外蹦的,不是因为他们做成特殊的交互,是因为机器真的在算,只有算出上一个词,再把这个句子重新带回去,才知道出现最高机率的词是甚么,所以它的展现出只能是一个词一个词往外蹦,这不是演示打字的效果,而是它真实的在后台计算。

4.人类文明神经系统的词汇准则如此复杂,ChatGPT是怎么得出这套复杂的公式?又是怎么执行完成的?

数据量足够大、计算量足够大,就会产生质变——机器能掌握更接近词汇准则的高维度复杂的工程,也是他们自己都不能言说的方程组,诞生了今天这样的效果。这是ChatGPT另一面的大词汇微积分模型基本原理,看结构并不复杂,但每一步工程都需要很多心血和汗水的冲破。是一个持续近二十年的工程:

2014年Attention机制的提出,它是一种算法;

2017年石破天惊的Transformer结构论文,相当于诞生出有庞大科学知识库、非常强悍能力的大微积分模型,但它的主要问题是不太会与人沟通;

2020年的GPT-3,依靠Transformer机制和海量数据训练,一步一步关键控制技术解决和迭代的过程,才诞生了今天的大词汇微积分模型。

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

5.为甚么是ChatGPT?为甚么不是其他产品?

非常关键的一点是人工反馈的强化学习,也是RLHF(Reinforcement Learning from Human Feedback)。本质上ChatGPT = GPT-3.5+ RLHF,GPT是其支撑微积分模型,微积分模型另一面真正的科技是LLM海量数据统计数据的涌现效应,而RLHF控制技术是其效果突围的关键。

LLM和RLHF的关系,LLM就像一个聪明、有科学知识但不善言辞的孩子,RLHF是用一系列例子教会他人类文明日常交流的模式。GPT-3依靠Transformer机制和海量数据训练,实现了对人类文明科学知识的初步统计数据归总;RLHF就是让人来给机器的输出打分,奖励“好话”,惩罚“坏话”,不断驯化AI的说话习惯,即强化学习人类文明日常交流模式。两层微积分模型拼接,输出了非常好的ChatGPT产品。

6. ChatGPT能取代人吗?

盈亏同源,ChatGPT大词汇微积分模型的核心理念基本原理是“统计数据+强化”,这决定了它不是真的理解,因为词汇不是科学知识,模仿不是理解,说得像人话并不等于真的明白话的含义。AI是一个抄作业的人,它透过人类文明浩瀚的语料去抄或者模仿人曾经做过的事,它并不真正明白这件事,只是因为它抄过的东西太多,所以能抄得非常强悍、非常准,抄得非常像人话,但这并不等于它真的理解。

当他们问AI 3+5等于多少,我们以为它用计算器算3+5是多少,其实不是,它是去浩瀚的语料里找哪儿出现过3+5,统计数据3+5后面基本都是出现8,于是把8贴上了,这意味着它很可能有很多错漏。

这也回答了很多人目前的担忧:AI还不能取代人。因为AI没有人类文明的常识,它是抄作业,它一本正经,语法很通顺,写得很好,看起来非常专业,除了不对,几乎没缺点。但它还需要持续解决真实性和有效性的问题,这会限制它在很多要求准确率更高的情景下的持续扩展。

7.AI未来会取代人吗?

它现在还难以说是真正的AGI,让机器从“掌握信息”升级为“掌握科学知识”还需要AI科技的进一步冲破,具备方法论的自主学习和推演能力才是AGI,通往未来,会使用工具的AI将造就捷伊入口和捷伊平台,

本次AI最大的想像空间在于其方法论:AGI=DL+RL(深度学习+强化学习),指向了一个曾经只出现在科幻电影中的全能服务机器。到那一天,他们的生活会发生很大变化。

它现在还难以说是真正的AGI,但他们已经看到它开始深度改变他们的学习和生活。

8.机会在哪里?

位数化的上半场是云,下半场是AI 。参考移动时代,新控制技术不仅带来了捷伊独角兽,也让掌握基础设施的巨头享受了新增量,AI对应用和云都是机会。

它现在还难以说是真正的AGI,但我们已经看到它开始深度改变他们的学习和生活。如将大词汇微积分模型与机器视觉微积分模型结合能够实现阅图理解、按文生图等新形态应用。多模态AI能综合利用对文字、视觉和词汇等的认知能力,更加深入地嵌入他们的生活和工作,拓展出更多的应用情景。未来透过大词汇微积分模型,能降低各类现有微积分模型的落地实施成本,让机器自动完成原本人才能解决的需求适配和功能对接,打通AI to B的最后一公里。

如能帮助人类文明生成代码,大幅降低程序代码编写的时间:

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

大幅降低图片和视频生产的成本:

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

elligence

9.中国的机会在哪里?

他们还处在AIGC(AI Generated Content,人工睿智生成内容),产业发展的早期阶段,行业的积极探索才刚刚开始。

中国具备完整的AI控制技术栈,也能有自己的ChatGPT。ChatGPT分为两层,一层是GPT微积分模型,一层是奖励微积分模型。国内在2021年前后基本完成了GPT-3同级别的LLM微积分模型,RLHF是需要时间打磨的人工策略累积,中国有更高的执行效率,客观看待中国ChatGPT第一版的效果,会有差距,但能追赶。

10.他们要做甚么?

乔布斯说过的一段话:What a computer is to me is the most remarkable tool that we have ever come up with. It’s the equivalent of a bicycle for our minds.

也许这一波AI的冲破不仅仅是“自行车”,而是“汽车”,会把他们带向更光明的未来。隧道尽头的光已经打在他们身上,接下来要做的可能是一直向前。

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

END

其准确性、充足性或完整性,相关信息仅供参考,不构成广告、销售要约,或交易任何证券、基金或投资产品的建议。本内容中引用的任何实体、品牌、商品等仅作为研究分析对象使用,不代表受访者及其所在机构的投资实例。

版权声明:本文版权属于上海高毅资产管理合伙企业(有限合伙)(简称“高毅资产”),未经高毅资产授权,任何机构和个人请勿以任何形式发表、转载、改编、摘录、引用。如转载使用,请与原创方微信订阅号“高毅资产管

十问AI研究:解构ChatGPT背后的力量和边界|毅点笔记

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务