倜傥 丽翔 凹非寺物理位 | 社会公众号 QbitAI
就说开发人员的手速有多快吧，第两个开放源码ChatGPT工程项目早已再次出现了！
如前所述Google词汇大数学模型PaLM构架，和采用从人类文明意见反馈中加强自学的方式（RLHF），华裔小哥Phillip Wang重制了两个ChatGPT出。
工程项目GitHub星早已少于1.7k了，所以还在一路上攀升ing。
但是不动声色的是，网民们看见“开放源码ChatGPT”却没迅即开冲，反而争先恐后在提问：
这……没人能run？
开放源码了但没完全开？
工程项目的核心内容，是在PaLM构架上实现如前所述人类文明意见反馈的加强自学。
其中，PaLM（Pathways Language Model）是Google在今年4月发布的5400亿参数全能大数学模型，如前所述Pathways系统训练，BERT之父Jacob Devlin为主要贡献者之一。
PaLM可以完成写代码、聊天、词汇理解等任务，并且在大多数任务上实现了SOTA少样本自学性能。
另两个核心点是RLHF“从人类文明意见反馈中加强自学”。
OpenAI提出InstructGPT时就用到了这一方式，它能让AI的回答更加符合情景要求，降低“有害性”。
具体分三步：
第一步，找一些人写下示范答案，来微调GPT-3数学模型，训练监督数学模型baseline。
第二步，收集某个问题的几组不同输出数据，由人类文明对几组答案进行排序，在此数据集上训练奖励数学模型。
第三步，采用RM作为奖励函数，近端策略优化（PPO）算法微调GPT-3策略，以加强自学方式最大化奖励。
ChatGPT采用的GPT-3.5，其中text-davinci-002就是在code-davinci-002的基础上，采用了InstructGPT训练方式改进得到。
正是如前所述如上两方面核心内容，作者实现了ChatGPT的重制。
大致步骤有3步：
首先来训练一下PaLM，就和其他自回归Transformer一样。第二……
等等，训练PaLM？？？这确定不是在开玩笑？
现在明白为啥大家都觉得这个开放源码工程项目完全不能run了……
打个不恰当的比方，这就像如果想吃熊肉，那先自己去打头熊来。
工程项目中只有PaLM构架和代码，没预先训练好的权重。
所以完成第一步，大概效果就是……
话虽如此，但还是继续接着往下看看……
第二步，就要训练如前所述RLHF的奖励数学模型了。作者采用的是一种轻量级训练大词汇数学模型方式LoRA，这种方式是开放源码的。
然后，再把之前训练好的数学模型和奖励数学模型用加强自学进行微调。
经过这三步后，就能得到两个开放源码版的ChatGPT了。
这中间面临的问题包括巨大的计算量、超大数学模型和难收集的文本……所以没人也不免提问：
有没一种可能，它也没啥用？
但是有网民觉得这本质上还是一件好事啦。
AI的一个关键区别就是，每有两个重大突破，很快就会再次出现两个开放源码版本。
实际上，开放源码工程项目作者老赵Philip Wang一直都热衷于重制各种明星工程项目，过去还尝试过Dall·E 2、AlphaFold 2等。
和LAION也发起了两个类似工程项目Open Assistant，他们将通过“众筹脑力”的方式，共同开发两个开放源码的聊天AI。
Stable Diffusion用的开放数据集，就是这一组织做的。
感兴趣的童鞋不妨去试试看~
PaLM-rlhf-pytorch主页：https://github.com/lucidrains/PaLM-rlhf-pytorch
Open Assistant主页：https://github.com/LAION-AI/Open-Assistant
参考链接：[1]https://twitter.com/rasbt/status/1608133663937495041[2]https://twitter.com/omarsar0/status/1608143718460055552
