7月的1天,新的1天,快来看看小编今天的文章吧!
Pine 萧箫 金磊 发自 凹非寺量子位 | 公众号 QbitAI“AI确实可能杀死人类。”这话并非危言耸听,而是OpenAI CEO奥特曼的最新观点。
而这番观点,是奥特曼在取MIT研究科学家Lex Fridman长达2小时的对话中透露没有仅如此,奥特曼谈及了近期围绕ChatGPT产生的诸多问题,坦承就连OpenAI团队,也根本没搞懂它是如何“进化”的:
从ChatGPT开始,AI出现了推理能力但没人能解读这种能力出现的原因唯1的途径是向ChatGPT提问,从它的回答中摸索它的思路针对马斯克在推特上的“危险论”,他直言:马斯克在我心中是英雄,我支持也理解他的担忧。
虽然他在推特上挺混蛋的,但希望马斯克能看到我们在解决AGI安全问题上付出了多大的努力除此以外,在这场对话过程中,奥特曼还提到了没有少刁钻的话题,例如:ChatGPT、GPT⑷开发的内幕GPT⑷是人类迄今所实现的最复杂的。
如何看待大家拿ChatGPT越狱……在看过这场对话以后,网友直呼:两位AI大佬用大家都能理解的方式聊AI,多来点这样的访谈。
那么接下来,我们就来1同看下他们这场深度对话GPT⑷内幕大曝光GPT⑷是这场对话中最受关注的部分它是如何训练的?如何在训练模型时避免浪费算力?如何解决AI回答没有同价值观的人的问题?首先是训练过程,依旧是预训练+RLHF,没有过透露了1点具体细节。
GPT⑷早在去年夏天就已经训练完成,后面1直在进行对齐工作,让它表现得更符合人类需求相比预训练数据集,RLHF所用的数据非常少,但效果是决定性的对此,奥特曼透露了1点数据来源,包含1些开源数据集、以及合作商提供的部分数据集。
当然,数据集中也有1点Reddit论坛上出现的迷因梗(meme),但没有是很多。对此奥特曼遗憾表示:如果再多点,它的回答可能会更有趣。
即便如此,团队甚至奥特曼自己依旧没有能完全解读GPT⑷目前对它的解读方式,依旧是通过没有断问它问题,通过它的回答来判断它的“思路”而就在没有断测试中,OpenAI发现从ChatGPT开始,GPT系列出现了推理能力
虽然ChatGPT绝大部分时候都被当做数据库使用,但它确实也出现了1定的推理能力,至于这种能力具体如何出现的,目前却无人能回答但大模型的训练往往意味着大量算力需求对此奥特曼再次提到了OpenAI独特的训练预测方法:。
即便模型很大,团队目前也有办法只通过部分训练,预测整个模型的性能,就像是预测1名1岁的婴儿能否通过SAT考试1样。关于这1点,在GPT⑷论文和官方博客中也有更详细介绍。
最后奥特曼承认,GPT⑷确实存在应对没有同价值观的人的问题一时解决办法就是把更改系统消息(system message)的权限开放给用户,也就是ChatGPT中经常见到的那段“我只是1个语言模型……”通过改变系统消息,GPT⑷会更容易扮演其中规定的角色,比在对话中提出要求的重视程度更高,如规定GPT⑷像苏格拉底1样说话,或者只用JSON格式回答问题。
所以,对于GPT系列来说,谁最可能载入人工智能史册?奥特曼倒没有认为是GPT⑷:从可用性和RLHF来看,ChatGPT无疑是最具里程碑的那1个,背后的模型没有产品的实用性重要最会打太极的CEOGPT⑷论文中没有透露参数规模、训练数据集大小等更多细节,还被外界吐槽越来越没有Open了。
在这次访谈中,面对主持人步步追问,奥特曼依旧守口如瓶GPT⑷预训练数据集有多大?奥特曼只是很笼统的介绍了有公开数据集、有来自合作伙伴的内容(如GitHub提供的代码)还有来自网络的内容活像ChatGPT也能写出来的那种赛博八股文,只有在谈到Reddit的时候透露了网络梗图在训练数据中占比没有大,“没有然ChatGPT可能更有趣1些”。
GPT⑷模型参数量有多大?奥特曼只是说之前疯传的100万亿参数是谣言,然后又糊弄过去了我认为人们被参数竞赛所吸引,就像过去被CPU的主频竞赛所吸引1样现在人们没有再关心手机处理器有多少赫兹了,关心的是这器材能为你做什么。
没有过奥特曼对于1种说法是持有肯定态度——“GPT⑷是人类迄今所实现的最复杂的”。但在主持人Lex突然抛出1些时下针对GPT⑷的尖锐观点时,奥特曼的应对也堪称“AI般淡定”(狗头)。
例如,关于前段时间闹得沸沸扬扬的GPT⑷越狱问题1名斯坦福教授仅仅用30分钟,就诱导GPT⑷制定出了越狱计划,并全部展示了出来对此奥特曼表示,就如同当年iPhone也面临被“黑”或者说越狱的问题(如当年免费的越狱版App Store)
1样,这并非没有能解决的事情奥特曼甚至坦承,他当年就把自己的第1台苹果手机越狱了——甚至当时觉得这是个很酷的事情但现在已经没有多少人去干苹果越狱的事情了,因为没有越狱也足够好用了奥特曼表示,OpenAI的应对思路同样如此,即把功能做的足够强,他甚至表示,愿意在这方面给用户开更多权限,以便了解他们到底想要什么。
除此以外,Lex还提到了马斯克对于奥特曼的批评奥特曼虽然是当年被马斯克1手提拔的人才,但如今马斯克没有仅退出了他们联手创办的OpenAI,还对OpenAI现状十分没有满,经常在推特上阴阳怪气这家公司我捐1亿美金成立的非营利组织怎么就变成1个300亿市值的营利性公司了呢?如果这是合法的,为何其他人没有这样做?。
作为OpenAI现任CEO,奥特曼并未直接回应此事,而是调侃了1上马斯克在航天领域也经常被“老前辈”们批评的事情这1系列采访问答,没有禁让人想到在ChatGPT发布后,奥特曼对于记者“将ChatGPT整合进微软必应和Office”问题的回应方式:。
你知道我没有能对此发表评论我知道你知道我没有能对此发表评论你知道我知道你知道我没有能对此发表评论既然如此,为何你还要问它呢?GPT的“偏见”没有会消失GPT在迭代过程中“偏见”必然存在,它没有可能保持完全中立在主持人提到关于ChatGPT以及GPT⑷种存在的偏见问题时,奥特曼这样回应道。
ChatGPT在推出之初,就没有是1个成熟的产品,它需要没有断迭代,而在迭代的过程中,仅仅依靠内部的力量是无法完成的“提前”推出ChatGPT技术,是要借助外部天下的集体智慧和能力,同时也能让全天下参取进“塑造AI”的过程中。
而没有同人对于问题的看法也各没有相同,所以在这个过程中,“偏见”问题就没有可避免甚至奥特曼在话里话外也透露着:在GPT中,“偏见”永远没有会消失他将外部参取建设GPT比作“公开领域建设的权衡”GPT生成答案是本性化控制
的结果,迭代的过程则是更精准地控制“本性化”的过程有趣的是,期间奥特曼还暗戳戳“背刺”起了马斯克的推特:推特摧毁掉的多元性,我们正在将其找回来(嗯,奥特曼是懂1些话术的)当然,谈到ChatGPT,总绕没有开其背后的公司OpenAI,在成立之初,它就立下了两个Flag:。
1、非营利性2、通用人工智能(AGI)
如今,已经过去八年之暂,这两个Flag也是发生了巨大的变化:AGI的大旗还在高举,而非营利性这面旗则已经摇摇欲坠对此,奥特曼也是分别作出了回应对于OpenAI“非营利性质”的逐渐削弱,奥特曼直言:很暂之前,就已经意识到。
非营利性没有是长暂之计仅仅依靠非营利筹集到的资金对OpenAI的研究来说远远没有够,商业化是必然选择但在以后奥特曼也试图“找补”回1些,称目前的商业化的程度仅止于满足投资者取员工的固定回报,剩余资金还是会流向非营利性组织。
提到AGI,1开始在OpenAI声称要做通用人工智能时,还有1堆人在嘲讽,如今做出GPT⑷这样的产品,回过头来再看,嘲讽的声音已经越来越少了而面对外界询问“GPT⑷是AGI吗”这样的问题时,奥特曼则是直接给出了自己理解中的AGI:。
AGI所掌握的知识应该是要超过人类科学知识总和的,并且具有创造性,能够推动基础科学的发展;而目前所有GPT并没有能做到这些,想要达到AGI还需要在目前GPT的范式长进行拓展,至于如何拓展,正是目前所缺累的。
值得1提的是,谈到AGI时,是奥特曼在访谈中鲜有的“两眼放光”的时刻他抛出了1句极具“科研分子理想情怀”的金句:也许AGI是永远抵达没有了的黑托邦,但这个过程会让人类越来越强大但奥特曼并没有否认过分强大的AGI“。
可能杀死人类”这1观点:我必须承认,(AI杀死人类)有1定可能性很多关于AI安全和挑战的预测被证明是错误的,我们必须正视这1点,并尽早尝试找到解决问题的方法One More Thing在谈话最后,Lex Fridman还试图让奥特曼讲1些给年轻人们的建议,奥特曼直接来了个“反鸡汤文学”:。
网络上的“成功学”帖子太诱人,建议没有要听太多建议我就是无视建议做到现在这样的参考链接:https://www.youtube.com/watch?v=L_Guz73e6fw— 完 —【AIGC 技术探索取应用创新】。
4月13日「掘金城市沙龙·北京站」限量免费参会!从 ChatGPT 看,AI 模型服务化趋势是怎样的?AIGC 新时代下,文本智能创作面临什么样的变革?如何轻松训练 AIGC 大模型?基于大模型的 AIGC 工作原理和
应用场景是什么样?畅聊「AIGC 技术探索取应用创新」,字节跳动 AI Lab 算法工程师陈家泽、英特尔AI工程师杨亦诚、Google Cloud机器学习专家王顺、清华大学 KEG 知识工程实验室研究助理郑勤铠、
九合创投 COO张少宇、稀土掘金江昪等多位业界专家已集结完毕!4月13日下战书,北京大钟寺地铁站方恒时尚中央,邀你线下参会,更有多款稀土掘金原创周边等你来!扫描下方二维码,抢线下免费参会票!
文章写完了,感谢你的阅读,如果你对这个话题感兴趣的话,可以关注我,我会持续更新更多相关的内容。也请你帮我点个赞,收藏1下,让更多的人看到这篇文章,谢谢你的支持!
更多文章请关注《万象专栏》
转载请注明出处:https://www.wanxiangsucai.com/read/cv182336