知乎上关于 ChatGPT 的讨论有多热?
人工智能对话模型 ChatGPT 发布后短短不到三个月的时间里,知乎上相关的讨论已经累计高达 8.8 万,总浏览量超过了 2.1 亿。
在知乎上探讨 ChatGPT 和人工智能的专业答主有多牛?
全球人工智能教育领导者,DeepLearning.AI 创始人探讨了 AI 爬取网络数据进行学习的法律和公平问题。
创新工场董事长李开复总结了 20 种会被取代的职业,10 种「高枕无忧」的工作,10 种「有惊无险」的工作,并提出了在后 ChatGPT 时代拯救自己职业的通用法则。
前谷歌人工智能研究院科学家、现西湖大学特聘研究员蓝振忠,带来一线创业者的观察和分析。
微软亚洲研究院、知乎机器学习领域优秀答主 Dr.Wu 从技术模型、商业价值等多个角度进行专业探讨。
新浪微博 AI Lab 资深算法专家张俊林谈论对从业者冲击。
……
业界大咖集体下场讨论人工智能的盛况,上一次还是上一次,也是在知乎。
每当 AI 领域出现重大突破,知乎就成为业界大咖、技术大牛、专家学者和相关从业者进行专业讨论,分享和探讨前沿动态、进行思想碰撞的第一阵地。
在诸多参与讨论的知友中,我们还发现了一位特殊答主,他是 OpenAI 员工,参与过 ChatGPT 训练全程。他还是一位资深知友,高三就开始刷知乎。
Trinkle,自称「摸鱼爱好者」,毕业于帝都五道口某技校,实则为清华校友、ChatGPT 核心成员之一,也可以这么说,是 ChatGPT 「背后的男人」。
ChatGPT 最初的中文语料就是他和另一个同事贡献的对话。
我们和他聊了聊,训练 ChatGPT 那些事儿,也顺便扒了扒,在 OpenAI 上班是什么体验,以及作 为AI 「训练师」,是怎么看待 AI 即将带来的影响的。
对话前,先欣赏下知友们「以身试 AI」的脑洞。
在热门话题「ChatGPT 有哪些神奇的使用方式?」下,有一本正经的攻略文:
当然,「不正经」的试验更多:
不少网友在被震惊之余,也开始琢磨起了 ChatGPT 一些「稀奇古怪」的应用场景:
不过,与此同时,也有人对于 ChatGPT 的出现表达出了担心。
在问题「ChatGPT 会取代人的哪些工作?哪些人群的职业规划需要转变?」下,有人这样说道:
那么,看看 ChatGPT 背后的男人是怎么说的?
Q&A
在 OpenAI 工作是怎样的体验?
Q:你是怎么成为 ChatGPT 的训练师的?
Trinkle:去年大环境不是特别好,我投了很多的岗位,然后很幸运地成为了 OpenAI 的一员。因为 OpenAI 基本上都是 PhD(博士)起步,我是 Master(硕士),而且刚一毕业就去了。
大学的时候我就搞了一些开源的项目,更多是偏向于强化学习的一些训练。这也是 OpenAI 为我破例的很大原因。
Q:ChatGPT 的训练师都包括哪些工作?
Trinkle:有的人偏重于数据收集,我个人更偏重于基础架构方面的,就是在整个强化学习(一种计算机算法)的训练里,对系统进行一些优化,比如说如何才能够让它跑得更快,让它用最少的 GPU 最快地跑完强化学习的训练。
Q:ChatGPT 需要大量的数据,传言整个训练团队多达 40 人,这是真的吗?
Trinkle:并没有。真正核心训练的只有十几个人。
Q:这样小的规模是怎样能够进行这么大规模的模型开发的?
Trinkle:招了一些特别牛的人,反正那些人都比我牛,真的能够做到一个人起到十个人的作用。
Q:OpenAI 的工作环境怎么样?
Trinkle:OpenAI 的工作氛围比较轻松,首先公司人少,管理很扁平化。人少就意味着沟通的效率提高了,大家可以很直接地进行沟通,内部都是透明公开的,而且很少开会。如果公司人很多的话,各种政治斗争,各种潜规则就会很麻烦。
OpenAI 给与员工的自由度相对来说也很高,没有很多条条框框的限制,也不会强迫员工去做一些不情愿的工作,你可以做一些自己想做的事情,甚至于工作时间、工作时长、工作节奏都可以由员工自己安排。
Q:OpenAI 工作量大吗?
Trinkle:工作量还是很大的,我个人还是经常加班的。其实公司方面并不会给工作施加压力,不过一方面是心里过意不去,另一个方面是大家都很热爱这件事情,觉得这个事情能够做成,很有信心,希望把这件事情做好,所以选择主动加班。
「ChatGPT 是如何训练出来的?」
Q:ChatGPT 的数据来源是哪里?
Trinkle:来自于网上公开的数据,利用爬虫直接爬下来的,像有一些高质量的问答社区一类的。
Q:ChatGPT 的中文对话是怎么训练的?
Trinkle:最开始那个版本,主要是我跟组里另外一个人贡献了一些对话,然后送去训练,当然了,这只占很少一部分。
我觉得更多的在于最前面的预训练的模型所带来的性能的提升。虽然大部分的是英文,但是有很多的语言混合在一起,那里面是有一定的中文语料的。
Q:和 Google 的 LaMDA,和它相比,ChatGPT 有哪些不同?相比其他大模型和对话机器人,成功的关键是什么?
Trinkle:ChatGPT 采用的是 RL——强化学习的方法来训练的。强化学习是从环境里面获取数据的,数据有可能是动态的。
它有环境,它会根据不同的交互产生不一样的行为,然后针对不一样的行为,再去针对性的学习。
而 Google 的话,是采用了监督学习的方法,给定一个 Label(标签),让它直接学。它的数据是静态的。
成功的关键取决于数据。数据质量更好,就会更成功。
Q:目前网上晒出的 ChatGPT 的试用中表现出的缺陷,比如准确性、想象力、预测等,这些是什么原因造成的?
Trinkle:我觉得是这样,想象力的根源在于神经网络的一些随机性,而不是在于一些真正有一个东西叫创造力。
没有的,其实很简单,只要你设置一个参数就好了,然后这个参数如果越大,然后它的随机性就越高,然后越小的话就越确定好的。
我觉得目前的缺陷是中文的数据量不够造成的。你可以测一下,如果相同的问题用英文问,你得到回答,结果质量会比中文更好。
「AI 会对人类造成灾难性后果吗?」
Q:有没有一些你觉得未来可能是在 AI 上面跟完全无法取代人的,就是无法攻克的?
Trinkle:我觉得理论上来说应该没有,因为人脑其实也是一个神经网络,然后 AI 只是模拟是一个过程,大家都是神经网络,其实没有什么区别。
最后可以做到完全和人一样,就相当于你可以很廉价去生产一些生产力,然后如果社会的生产力发展了,那么整个社会的科技水平会得到进一步的提升。
Q:这也涉及到知乎上提到的一个问题,AI 会不会大规模取代一些人的工作,比如说程序员?
Trinkle:我觉得不会的,是因为你可以这样想,你如果有一个 idea。放在之前的话,你可能要招很多人,然后去开一个公司,才能让你实现 idea。但是如果有了 AI,你可能只要花几个钱,雇一堆 AI,让人家帮你写帮你实现,你这样可以更快去迭代一些新的 idea,这个生产力是不一样的。
人应该从重复性的机械性的劳动中解放出来,然后去做一些更有价值有意义的事情,甚至说,人也可以躺平,这都没有问题。
比如雇几个 AI 帮你干活,雇他们可能没几个钱。他们就相当于印钞机,你就可以躺了。我觉得就算是普通人也完全可以用 AI,因为只要后面成本下来,这是完全没有问题的。
Q:科幻小说里边,然后也经常提到 AI 的奇点问题,有没有说 AI 最终就是取代人类,摆脱人类控制,你会有这种想法吗?
Trinkle:目前还没有,因为现在只是单纯的输入输出,相当于一个程序。它还暂时不能被改造成病毒。距离电影里面那种具有独立思维的模式还差得很远。
Q:那 ChatGPT 目前对您生活产生了什么实际影响吗?
Trinkle:我经常用它来 Debug。比如有一个问题不知道,就直接 ChatGPT 上提问,相比于 GOOGLE,它更简单、更方便、更迅速。
在工作之外,日常生活里,有一次我想检测一下它的世界观、比如哲学观,就问了一些问题。
我感觉它非常唯物主义以及非常现实主义,你可以测试一下试试看。
Q:之前还有一个新闻,谷歌工程师跟 AI 聊天,结果聊到崩溃,你怎么看待这件事情?
Trinkle:十分扯淡,字面意义上的扯淡。以当前的技术水平,还不能认为 AI 具有感情,不知道他是怎么得出这个结论的。
「高三开始玩知乎的天才少年」
Q:最早是怎么开始使用知乎的?
Trinkle:高三时候,当时是为了想要获得一些有用的信息。
Q:使用知乎对你的学术或职业方向有过什么影响吗?
Trinkle:在知乎上看到「有哪些建议需要给什么大学生忠告」之类的问题,就考虑去学习 React。
正好在 2020 年的时候,我开发了一个专门查询美国签证预约时间的网站。一开始用 PHP 写,后来觉得 React 是未来,还是需要学习一下,说不定什么时候可能要用到。
所以后来就去学了 React,跟另外一个小伙伴一起把这个网站重构了一下。
Q:你是从什么时候发现自己有数学方面的天赋?
Trinkle:我小学一年级的时候就开始搞奥数了,然后我做数学会比别人快很多,字面意思快很多,就不用思考,然后直接做。
Q:能介绍下你选择从事计算机专业的过程吗?
Trinkle:初中一年级开始编程,高二不顾父母反对(我妈嫌弃计算机专业是一个万金油专业)参加全国信息学竞赛,发挥失常,得了铜牌。
高考想去清华计算机,搞跪了没去成,大一达成全系绩点前十成就,顺利转入计算机系。
大二加入了朱军老师实验室,首次接触到强化学习。
随团队参加AI比赛,获得国际比赛冠军。大四开发了深度强化学习开源平台「天授」,至今已累计获得 5700 颗星。
在国外读研究生毕业,收到 OPENAI 面试,成为公司里第一位硕士毕业应届生员工。
Q:……
答主轶事
惊闻有人造谣自己大学成绩造假被学校开除,Trinkle 秀了一把 GPA:
在「目前最好用的大规模强化学习算法训练库是什么?」下,贴出了开源项目「天授」,导致评论区出现如下回答:
![ChatGPT「训练师」:高三开始玩知乎17 ChatGPT「训练师」:高三开始玩知乎](http://51chaoquan.com/wp-content/uploads/2023/02/4ffce04d92a4d6cb21c1494cdfcd6dc1-49.png)
有哪些美食曾经是「穷人食物」现在却是「奢侈食物」?
有哪些农业上的事实,没有一定农学知识的人不会相信?
哪些你以为知名度高的「外国美食」其实在中国盛产?
本文内容来自「知乎」
点击上方卡片关注
转载请联系原作者
原文链接:https://mp.weixin.qq.com/s?src=11×tamp=1676470035&ver=4352&signature=IB1d6PFkiE6l39HxfumM0md2n5wElmfuahnW7aCEdeUzz5Tr7ZCISXZcazQqVT2B9nk6HsoR2UkMvMUs95tRVs-tPk8QEyIrN1bNYYJwwDdWHok89bYz7oXkUOI53Qpm&new=1