ChatGPT:强人工智能时代的里程碑中华读书报

ChatGPT标志的强人工智能已到来,科幻电影描绘的超人工智能还会远吗?3月29日,由约书亚·本吉奥、埃隆·马斯克、尤瓦尔·赫拉利等超千人联名发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,为期至少6个月,以确保人类能够有效管理其风险。AI的发展无人可以阻挡,在它无穷的潜力面前,也没人知道它会将人类文明推向何方。

弱人工智能、强人工智能

和超人工智能

人工智能通常是指机器智能,让机器实现类似乃至超越人类感知、认知、行为等智能的系统。一般来说,人工智能分成弱人工智能、强人工智能和超人工智能三大类。

弱人工智能:擅长专有或特定技能的人工智能,也叫专业人工智能。比如战胜世界围棋冠军的人工智能AlphaGo,它只会下围棋,如果让它下国际象棋或分辨一下人脸,它就不知道怎么做了。目前的人工智能绝大多数都是弱人工智能。

强人工智能:是指在各方面都能和人类比肩的人工智能,这是类似人类级别的人工智能,也叫通用人工智能。人类能干的很多脑力活,它也能干,创造强人工智能比创造弱人工智能难得多,ChatGPT就是强人工智能的一个里程碑。

超人工智能:知名人工智能思想家NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多,包括科学创新、通识和社交技能”。超人工智能现在还不存在,很多人也希望它永远不要存在,担心它可能像好莱坞科幻大片里的超级AI机器人一样给人类带来一些威胁或者颠覆。

我们现在处于一个充满弱人工智能的世界,扫地机器人是帮助我们打扫卫生的弱人工智能;百度翻译是帮助我们翻译英文的弱人工智能,等等。这些弱人工智能的不断创新都是迈向强人工智能和超人工智能的进步。人工智能科学家AaronSaenz说过,现在的弱人工智能就像地球早期软泥中的氨基酸,可能突然之间就形成了生命。

ChatGPT:AIGC技术的

文本生成典型应用

人工智能生产内容AIGC(AI-GeneratedContent)最基本的能力是生成内容,包括文本、图像、视频、代码或者几种媒介类型转换形成的“多模态内容”。传统AI侧重于根据已有内容的分析能力,现在的AI(特别是AIGC)基于训练数据和生成算法模型可以自主生成各种形式的内容和数据。生成算法、预训练深度模型、多模态等AI技术的创新和融合催生了AIGC的大爆发。2022年,StableDiffusion、DALL-E2等通过文字生成图片的AIGC模型风行一时;ChatGPT能够回答问题、生成代码、构思剧本和小说,将人机对话推向新高度。具体而言,ChatGPT能理解并生成文字,属于AIGC技术应用中的文本生成应用模型。

ChatGPT是一款由美国OpenAI公司于2022年11月发布的自然语言处理人机交互应用,是迄今为止人工智能领域最成功的产品和历史上用户增长速度最快的应用程序。ChatGPT是“ChatGenerativePre-trainedTransformer”的缩写,Chat是聊天的意思,GPT是生成式预训练语言模型。ChatGPT其实就是基于GPT-3.5神经网络架构,然后利用人工微调升级的一个新语言模型。它拥有接近人类水平的语言理解和文本生成能力,尤其是它会通过连接包含真实世界中的对话等大量的语料库来训练模型,还能根据聊天的上下文进行互动,真正像人类一样聊天交流。ChatGPT不单是聊天机器人,还能完成写邮件、编辑视频脚本、设计文案、翻译文本、开发代码等文本生成式任务。

ChatGPT的出现标志着强人工智能的来临,是里程碑式的技术进步,将引发新一轮人工智能热潮。毋庸置疑,ChatGPT的发展也应归功于人工智能的三要素——数据、算法和算力,更是依赖大数据、大模型、大算力而发展起来的。

数据:ChatGPT的数据集可分为六类,分别是维基百科、书籍、期刊、Reddit链接、CommonCrawl和其他数据集。其中,Reddit链接是指从社交媒体平台Reddit所有出站链接网络中抓取的数据,代表了流行内容的风向标;CommonCrawl是2008年至今的一个网站抓取的大型数据集,包含来自不同语言、不同领域的原始网页、元数据和文本提取;其他数据集由GitHub等代码数据集、StackExchange等对话论坛和视频字幕数据集组成。根据2020年OpenAI发布的关于GPT-3模型论文,所用的主要训练数据集大小为753GB,包含4990亿Token(一个Token指的是响应请求所需的最小文本单位)。

算法:ChatGPT的卓越表现得益于其背后多项核心算法的支持和配合,包括作为其实现基础的Transformer语言模型、激发出其蕴含知识的提示学习和指令精调Prompt/InstructionTuning算法、其涌现出的思维链能力COT、以及确保其与人类意图对齐的基于人类反馈的强化学习算法RLHF。其中,最基础的模型是基于Transformer的预训练语言模型GPT,Transformer是一种基于自注意力机制的深度神经网络模型,可以高效并行地处理序列数据。原始的Transformer模型包含编码器和解码器两个关键组件。编码器用于将输入序列映射到一组中间表示,解码器则将中间表示转换为目标序列。编码器和解码器都由多层的注意力模块和前馈神经网络模块组成。其中自注意力模块可以学习序列中不同位置之间的依赖关系,即在处理每个位置的信息时,模型会考虑序列中其他所有位置上的信息。GPT系列模型GPT-3最显著的特点就是大,一方面是模型规模大,参数多,达到1750亿个参数;另一方面是训练过程中使用到的数据集规模大,达到45TB。在这样的模型规模与数据量下,GPT-3在多个任务上均展现出了非常优异的性能。

算力:随着ChatGPT的模型参数量指数级增长和训练数据集规模化扩张,算力需求也是持续增加。据报道,ChatGPT的模型训练使用了微软专门建设的、由1万个V100GPU组成的高性能集群AI计算系统,而训练消耗的总算力约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),需要7~8个投资规模30亿、算力500P(1P相当于每秒运算一千万亿次)的数据中心才能支撑——这还只是模型训练阶段的算力需求,真实运行过程中的算力需求更为惊人。OpenAI宣布,GPT-5将在2024年底左右推出,它的参数量为GPT-3的100倍,算力需求为GPT-3的200-400倍。随着ChatGPT用户和应用范围的持续扩大,数据处理压力不断增大,算力需求更是飙升。

ChatGPT带来的机遇与挑战

ChatGPT标志的强人工智能已到来,科幻电影描绘的超人工智能还会远吗?3月29日,由约书亚·本吉奥(图灵奖得主、深度学习三巨头之一)、埃隆·马斯克、尤瓦尔·赫拉利(《人类简史》作者)等超千人联名发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,为期至少6个月,以确保人类能够有效管理其风险。目前来看,这封公开信应该不能阻止AI飞速发展的脚步。AI的发展无人可以阻挡,在它无穷的潜力面前,也没人知道它会将人类文明推向何方。

THE END
1.一.ChatGPT只有有限的技术壁垒机器学习的核心算法是都是公开的机器学习的核心算法是都是公开的 ChatGPT的核心算法是Transformer Model 这还是谷歌2017年发布的算法 调整参数是一个非常困难的工作 但这本身并不是一个壁垒 比如量化交易公司的算法是绝密且困难的工作 但这本身并不是壁垒 只有专利是真真正正的壁垒 只有专利意味着必定后无来者 https://xueqiu.com/3976999949/242252671
2.ChatGPT模型采样算法详解gpttemperatureChatGPT模型采样算法详解 ChatGPT 所使用的模型——GPT(Generative Pre-trainedTransformer)模型有几个参数,理解它们对文本生成任务至关重要。其中最重要的一组参数是temperature和top_p。二者控制两种不同的采样技术,用于因果语言模型(Causal language models)中预测给定上下文情景中下一个单词出现的概率。本文将重点讲解tehttps://blog.csdn.net/jarodyv/article/details/128994176
3.chatgpt背后的算法是基于一个transfotmer,通过基于自身反馈的强化学习来chatgpt背后的算法是基于一个transfotmer,通过基于自身反馈的强化学习来进行模型训练 参考答案:不准确。ChatGPT背后的算法是基于一个名为GPT(Generative Pre-trained Transfo 点击查看答案http://www.ppkao.com/kstkai/daan/c5832b0df93141779498dfcd9f6b8378
4.剧中的压缩算法是否可行,我问了Chatgpt(硅谷第一季)剧评剧中的压缩算法是否可行,我问了Chatgpt 回答如下: 在《硅谷》剧中,主人公理查德(Richard)和他的团队开发的压缩算法“波多黎各”(Pied Piper)是一种非常强大的数据压缩算法,可以将音频、视频等数据压缩到非常小的尺寸,同时保持高质量的输出。虽然这个算法在剧中取得了很大的成功,但是从技术角度来看,这个算法在现实中https://movie.douban.com/review/15003427/
5.强人工智能视域下新闻传播的变革与应对以生成式人工智能ChatGPT基于ChatGPT信息资源获取和应用能力,它极大可能成为继搜索引擎、网络浏览器等互联网入口之后的新入口,与用户建立更加紧密的联系,创造出全新的人机关系,并直接影响用户的新闻信息搜集、获取和消费。 ChatGPT实现内容分发个性化和情感性结合,放大传播效果。在弱人工智能阶段,新闻个性化分发基于数据、算法和用户“画像”进行https://www.cnii.com.cn/gxxww/zgdxy/sdsp/202308/t20230831_500087.html
6.算法对付算法,斯坦福大学严查ChatGPT代写论文算法对付算法,斯坦福大学严查ChatGPT代写论文 发现更多热门视频 淄博职业学院通报“学生突发疾病禁止男性医护人员进入宿舍”:已达成和解 第一帮帮团6942次播放 美国网民拍到两架F-117低空飞行 空警世界3.9万次播放 这是在巴基斯坦的网友拍摄到,他看到几个人手搓客车… 戏剧人生窥世8800次播放 张本:发哪你都能接,https://video.sina.cn/finance/2023-01-29/detail-imycvtrt0393619.d.html?pt=mlist
7.中国版ChatGPT能否后来居上?综合全部资讯一言以蔽之,中国不仅具有在数据、算法、算力和应用方面追赶海外AI技术的硬实力,更拥有长期为AI时代保驾护航的文化基因。或许这种科技的潜力会让我们在AI技术领域后来居上,但是这种积淀了几千年的中华智慧,才是中国版ChatGPT走向世界的终极法宝。 当沸腾的水壶在瓦特眼里勾勒出蒸汽机的雏形,有谁会意识到工业革命的车轮https://www.p5w.net/roll/complex/202311/t20231114_5844656.htm
8.ChatGPTChatGPT是一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序,它不像传统的搜索引擎一样复制和拼凑网上已有的信息给用户。相反,它提供的回答是有逻辑的、生动的,有上下文关联的。 总结一下,ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具https://www.jianshu.com/p/805abc3dcaae
9.是什么让ChatGPT变得如此聪明?仍然未知的大语言模型“能力涌现但这次以ChatGPT为代表的一众大语言模型,突然突破了这个门槛,变得非常“聪明”。当然背后的原因有很多,比如自监督学习、Fine-tuning策略等等,但有一个重要的底层变化——大语言模型的“涌现”(Emergent)现象,就是说一些业界从未想象到的能力,例如基础的社会知识、上下文学习(ICL)、推理(CoT)等等,在训练参数和数据量https://36kr.com/p/2210585582301824