ChatGPT「训练师」:高三开始玩知乎

2023年 2月 15日22:54:40 发表评论

知乎上关于 ChatGPT 的讨论有多热?

人工智能对话模型 ChatGPT 发布后短短不到三个月的时间里,知乎上相关的讨论已经累计高达 8.8 万,总浏览量超过了 2.1 亿。

ChatGPT「训练师」:高三开始玩知乎

在知乎上探讨 ChatGPT 和人工智能的专业答主有多牛?

ChatGPT「训练师」:高三开始玩知乎

全球人工智能教育领导者,DeepLearning.AI 创始人探讨了 AI 爬取网络数据进行学习的法律和公平问题。

ChatGPT「训练师」:高三开始玩知乎

创新工场董事长李开复总结了 20 种会被取代的职业,10 种「高枕无忧」的工作,10 种「有惊无险」的工作,并提出了在后 ChatGPT 时代拯救自己职业的通用法则。

ChatGPT「训练师」:高三开始玩知乎

前谷歌人工智能研究院科学家、现西湖大学特聘研究员蓝振忠,带来一线创业者的观察和分析。

ChatGPT「训练师」:高三开始玩知乎

微软亚洲研究院、知乎机器学习领域优秀答主 Dr.Wu 从技术模型、商业价值等多个角度进行专业探讨。

ChatGPT「训练师」:高三开始玩知乎

新浪微博 AI Lab 资深算法专家张俊林谈论对从业者冲击

……

业界大咖集体下场讨论人工智能的盛况,上一次还是上一次,也是在知乎。

ChatGPT「训练师」:高三开始玩知乎

每当 AI 领域出现重大突破,知乎就成为业界大咖、技术大牛、专家学者和相关从业者进行专业讨论,分享和探讨前沿动态、进行思想碰撞的第一阵地。

在诸多参与讨论的知友中,我们还发现了一位特殊答主,他是 OpenAI 员工,参与过 ChatGPT 训练全程。他还是一位资深知友,高三就开始刷知乎。

ChatGPT「训练师」:高三开始玩知乎

ChatGPT「训练师」:高三开始玩知乎

Trinkle,自称「摸鱼爱好者」,毕业于帝都五道口某技校,实则为清华校友、ChatGPT 核心成员之一,也可以这么说,是 ChatGPT 「背后的男人」。

ChatGPT 最初的中文语料就是他和另一个同事贡献的对话。


我们和他聊了聊,训练 ChatGPT 那些事儿,也顺便扒了扒,在 OpenAI 上班是什么体验,以及作 为AI 「训练师」,是怎么看待 AI 即将带来的影响的。

对话前,先欣赏下知友们「以身试 AI」的脑洞。


在热门话题「ChatGPT 有哪些神奇的使用方式?」下,有一本正经的攻略文:


ChatGPT「训练师」:高三开始玩知乎

当然,「不正经」的试验更多:


ChatGPT「训练师」:高三开始玩知乎

ChatGPT「训练师」:高三开始玩知乎

不少网友在被震惊之余,也开始琢磨起了 ChatGPT 一些「稀奇古怪」的应用场景:


ChatGPT「训练师」:高三开始玩知乎

不过,与此同时,也有人对于 ChatGPT 的出现表达出了担心。

在问题「ChatGPT 会取代人的哪些工作?哪些人群的职业规划需要转变?」下,有人这样说道:


ChatGPT「训练师」:高三开始玩知乎

ChatGPT「训练师」:高三开始玩知乎

那么,看看 ChatGPT 背后的男人是怎么说的?


Q&A


在 OpenAI 工作是怎样的体验?

Q:你是怎么成为 ChatGPT 的训练师的?

Trinkle:去年大环境不是特别好,我投了很多的岗位,然后很幸运地成为了 OpenAI 的一员。因为 OpenAI 基本上都是 PhD(博士)起步,我是 Master(硕士),而且刚一毕业就去了。

大学的时候我就搞了一些开源的项目,更多是偏向于强化学习的一些训练。这也是 OpenAI 为我破例的很大原因。

Q:ChatGPT 的训练师都包括哪些工作?

Trinkle:有的人偏重于数据收集,我个人更偏重于基础架构方面的,就是在整个强化学习(一种计算机算法)的训练里,对系统进行一些优化,比如说如何才能够让它跑得更快,让它用最少的 GPU 最快地跑完强化学习的训练。

Q:ChatGPT 需要大量的数据,传言整个训练团队多达 40 人,这是真的吗?

Trinkle:并没有。真正核心训练的只有十几个人。

Q:这样小的规模是怎样能够进行这么大规模的模型开发的?

Trinkle:招了一些特别牛的人,反正那些人都比我牛,真的能够做到一个人起到十个人的作用。

Q:OpenAI 的工作环境怎么样?

Trinkle:OpenAI 的工作氛围比较轻松,首先公司人少,管理很扁平化。人少就意味着沟通的效率提高了,大家可以很直接地进行沟通,内部都是透明公开的,而且很少开会。如果公司人很多的话,各种政治斗争,各种潜规则就会很麻烦。

OpenAI 给与员工的自由度相对来说也很高,没有很多条条框框的限制,也不会强迫员工去做一些不情愿的工作,你可以做一些自己想做的事情,甚至于工作时间、工作时长、工作节奏都可以由员工自己安排。

Q:OpenAI 工作量大吗?

Trinkle:工作量还是很大的,我个人还是经常加班的。其实公司方面并不会给工作施加压力,不过一方面是心里过意不去,另一个方面是大家都很热爱这件事情,觉得这个事情能够做成,很有信心,希望把这件事情做好,所以选择主动加班。

「ChatGPT 是如何训练出来的?」

Q:ChatGPT 的数据来源是哪里?

Trinkle:来自于网上公开的数据,利用爬虫直接爬下来的,像有一些高质量的问答社区一类的。


Q:ChatGPT 的中文对话是怎么训练的?

Trinkle:最开始那个版本,主要是我跟组里另外一个人贡献了一些对话,然后送去训练,当然了,这只占很少一部分。

我觉得更多的在于最前面的预训练的模型所带来的性能的提升。虽然大部分的是英文,但是有很多的语言混合在一起,那里面是有一定的中文语料的。

Q:和 Google 的 LaMDA,和它相比,ChatGPT 有哪些不同?相比其他大模型和对话机器人,成功的关键是什么?

Trinkle:ChatGPT 采用的是 RL——强化学习的方法来训练的。强化学习是从环境里面获取数据的,数据有可能是动态的。

它有环境,它会根据不同的交互产生不一样的行为,然后针对不一样的行为,再去针对性的学习。


而 Google 的话,是采用了监督学习的方法,给定一个 Label(标签),让它直接学。它的数据是静态的。


成功的关键取决于数据。数据质量更好,就会更成功。


Q:目前网上晒出的 ChatGPT 的试用中表现出的缺陷,比如准确性、想象力、预测等,这些是什么原因造成的?

Trinkle:我觉得是这样,想象力的根源在于神经网络的一些随机性,而不是在于一些真正有一个东西叫创造力。

没有的,其实很简单,只要你设置一个参数就好了,然后这个参数如果越大,然后它的随机性就越高,然后越小的话就越确定好的。

我觉得目前的缺陷是中文的数据量不够造成的。你可以测一下,如果相同的问题用英文问,你得到回答,结果质量会比中文更好。

「AI 会对人类造成灾难性后果吗?」

Q:有没有一些你觉得未来可能是在 AI 上面跟完全无法取代人的,就是无法攻克的?

Trinkle:我觉得理论上来说应该没有,因为人脑其实也是一个神经网络,然后 AI 只是模拟是一个过程,大家都是神经网络,其实没有什么区别。

最后可以做到完全和人一样,就相当于你可以很廉价去生产一些生产力,然后如果社会的生产力发展了,那么整个社会的科技水平会得到进一步的提升。

Q:这也涉及到知乎上提到的一个问题,AI 会不会大规模取代一些人的工作,比如说程序员?

Trinkle:我觉得不会的,是因为你可以这样想,你如果有一个 idea。放在之前的话,你可能要招很多人,然后去开一个公司,才能让你实现 idea。但是如果有了 AI,你可能只要花几个钱,雇一堆 AI,让人家帮你写帮你实现,你这样可以更快去迭代一些新的 idea,这个生产力是不一样的。

人应该从重复性的机械性的劳动中解放出来,然后去做一些更有价值有意义的事情,甚至说,人也可以躺平,这都没有问题。


比如雇几个 AI 帮你干活,雇他们可能没几个钱。他们就相当于印钞机,你就可以躺了。我觉得就算是普通人也完全可以用 AI,因为只要后面成本下来,这是完全没有问题的。

Q:科幻小说里边,然后也经常提到 AI 的奇点问题,有没有说 AI 最终就是取代人类,摆脱人类控制,你会有这种想法吗?

Trinkle:目前还没有,因为现在只是单纯的输入输出,相当于一个程序。它还暂时不能被改造成病毒。距离电影里面那种具有独立思维的模式还差得很远。


Q:那 ChatGPT 目前对您生活产生了什么实际影响吗?

Trinkle:我经常用它来 Debug。比如有一个问题不知道,就直接 ChatGPT 上提问,相比于 GOOGLE,它更简单、更方便、更迅速。


在工作之外,日常生活里,有一次我想检测一下它的世界观、比如哲学观,就问了一些问题。


我感觉它非常唯物主义以及非常现实主义,你可以测试一下试试看。


Q:之前还有一个新闻,谷歌工程师跟 AI 聊天,结果聊到崩溃,你怎么看待这件事情?

Trinkle:十分扯淡,字面意义上的扯淡。以当前的技术水平,还不能认为 AI 具有感情,不知道他是怎么得出这个结论的。

「高三开始玩知乎的天才少年」

Q:最早是怎么开始使用知乎的?

Trinkle:高三时候,当时是为了想要获得一些有用的信息。


Q:使用知乎对你的学术或职业方向有过什么影响吗?

Trinkle:在知乎上看到「有哪些建议需要给什么大学生忠告」之类的问题,就考虑去学习 React。


正好在 2020 年的时候,我开发了一个专门查询美国签证预约时间的网站。一开始用 PHP 写,后来觉得 React 是未来,还是需要学习一下,说不定什么时候可能要用到。

所以后来就去学了 React,跟另外一个小伙伴一起把这个网站重构了一下。

Q:你是从什么时候发现自己有数学方面的天赋?

Trinkle:我小学一年级的时候就开始搞奥数了,然后我做数学会比别人快很多,字面意思快很多,就不用思考,然后直接做。

Q:能介绍下你选择从事计算机专业的过程吗?

Trinkle:初中一年级开始编程,高二不顾父母反对(我妈嫌弃计算机专业是一个万金油专业)参加全国信息学竞赛,发挥失常,得了铜牌。


高考想去清华计算机,搞跪了没去成,大一达成全系绩点前十成就,顺利转入计算机系。

大二加入了朱军老师实验室,首次接触到强化学习。


随团队参加AI比赛,获得国际比赛冠军。大四开发了深度强化学习开源平台「天授」,至今已累计获得 5700 颗星。


在国外读研究生毕业,收到 OPENAI 面试,成为公司里第一位硕士毕业应届生员工。


Q:……

答主轶事

惊闻有人造谣自己大学成绩造假被学校开除,Trinkle 秀了一把 GPA:

ChatGPT「训练师」:高三开始玩知乎

在「目前最好用的大规模强化学习算法训练库是什么?」下,贴出了开源项目「天授」,导致评论区出现如下回答:

ChatGPT「训练师」:高三开始玩知乎

作者:李渔
题图来源:《机械姬》





ChatGPT「训练师」:高三开始玩知乎
知乎热门文章

有哪些美食曾经是「穷人食物」现在却是「奢侈食物」?


有哪些农业上的事实,没有一定农学知识的人不会相信?


哪些你以为知名度高的「外国美食」其实在中国盛产?


本文内容来自「知乎」

点击上方卡片关注

转载请联系原作者

原文链接:https://mp.weixin.qq.com/s?src=11×tamp=1676470035&ver=4352&signature=IB1d6PFkiE6l39HxfumM0md2n5wElmfuahnW7aCEdeUzz5Tr7ZCISXZcazQqVT2B9nk6HsoR2UkMvMUs95tRVs-tPk8QEyIrN1bNYYJwwDdWHok89bYz7oXkUOI53Qpm&new=1

  • 版权声明:内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 1936370309@qq.com 举报,一经查实,本站将立刻删除。
  • 转载请注明:ChatGPT「训练师」:高三开始玩知乎 紫林博客

发表评论

您必须才能发表评论!