国家间的算力战争,为什么我们还没造出ChatGPT?gpu英伟达人工智能产业链人士

跟老美比,咱们前两个都不差,现在唯一影响我们AI发展的,就是算力。

所以为什么你会觉得国内的大模型不是很好用,或者天天听到有声音说,中国的AI要在应用层上发力,而不要去卷大模型。

原因就在于我们目前在算力上严重不足,尤其是HPC,也就是高性能计算方面。

大家好,欢迎来到创异文化社,我是社长Alan.

对于不是很了解的朋友,我先跟大家简单解释下,到底算力在AI中有多大的作用。

你可以把人工智能大模型想象成一个人,它一开始什么都不会,我们需要去教它。

让它先理解了人类的语言和知识,然后它才能帮我们去做一些工作,而这就是所谓的对大模型进行训练。

那么训练所需的知识就是数据,光有数据还不行,你还要告诉它用什么方法去学,而这就是算法。

那么有了数据和算法后,如何让大模型学习的速度更快、学习的范围更广呢?

这就需要算力来起作用了,它就像人类的智商一样,直接决定了大模型是学霸还是学渣。

原理也很简单,因为算力越强,AI能进行的计算就越多,因此能理解和解决的问题也就越复杂。

所以说算力是现有人工智能技术发展的基础。

至少ChatGPT的成功,让我们看到了堆算力是能出奇迹的。

而OpenAI跑出来的ScalingLaw,也就是规模法则路线,是目前所有大模型公司都在采用的方法,包括我们国内的公司也是。

那么问题来了,ScalingLaw依靠的是强大的高性能算力做基础,才可能出奇迹。

而高性能算力依靠的是高性能运算硬件的集群,才能实现。

因此我们国家要想在算力上实现突破,归根结底还是要在运算硬件的核心,也就是CPU和GPU等这样的芯片上,杀出一条血路。

我们都知道,老美现在正对我们实行各种高科技禁令。GPU、光刻机等所有跟AI发展有关的技术、产品,都不让出口到中国。

英伟达为了能符合要求把产品卖给中国,专门推出了H20、L20等GPU,来绕过老美的监管。

但其算力可想而知,跟现有主流在用的A100和H100差距很大。

H20的算力大概只有A100的50%,H100的15%,更别提英伟达今年刚发布的B200了。

B200的运算性能至少是H100的2.5倍,那H20跟B200的差距有多大,你知道了,并且B200在今年下半年就会投入商用。

所以说实话,大国间的AI竞争,下半年将会更激烈!

我们国内现在做大模型的公司确实挺不容易的,真的都是勇士。

咱们用完觉得不好用,也要理解。

毕竟由于算力有限,咱们国内大多数的模型都是百亿参数级的,千亿的都很少。

就在前几天,咱们国内首个开源的千亿大模型,才刚刚问世。

而你知道GPT4的模型参数有多少吗?是1.8万亿。

而且越往后,也就是说到GPT5、GPT6等,模型训练的参数可能就越大。

黄仁勋也表示,英伟达的新产品是为十万亿参数级的大模型而准备的。

看到这你应该就明白了,不是我们不想赶超GPT4,而是算力的鸿沟,必然会带来AI发展的瓶颈。

好,刚才说的这些,都是咱们当下现实面对的困难。

那么你一定会想:我们就没有其他办法了吗?

答案是:还真有!

接下来我就再说一说,咱们破局的机会在哪?

事物永远都有两面性,有危必有机。

虽然我们目前在算力的硬件上被卡脖子,但这也意味着我们国产的算力设备正进入快速发展期。

以前呢,人工智能技术还不够普及,场内的玩家也不多,所以对高性能算力设备的需求没那么强。

但现在不一样,英伟达2万亿美金的市值,证明了算力基础设施的“钱途无量”。

有数据显示,我们GPU的国产化率不足10%,但中国AI算力芯片的市场规模预计2024-2025年将超过2600亿元,这也就说明其中巨大的空间正等着被填补。

现在只要有高端设备出现,就是供不应求的状态。

那些早先就布局算力芯片研发的中国公司,已经开始收获订单了,像华为海思、寒武纪、海光信息等。

其中,华为的昇腾910B已经基本做到在能力上可以对标英伟达的A100了。

百度和科大讯飞等公司在2023年的时候,就从华为那买了不少。

而且可以确定的是:咱们国家算力芯片的能力,接下来也能做到成倍的增长。

为什么这样说呢?

因为芯片中还有一个叫做Chiplet的技术,这两年有了突破。

简单来说,就是它可以把两个或更多的芯片集成到一起,把它们变成一个芯片,来实现更强大的算力。

之前提到的英伟达最新推出的B200,用的就是Chiplet技术。

所以看到没,受摩尔定律的限制,老美那边也没办法,只能通过Chiplet把芯片做大这样的方式,来解决算力问题。

Chiplet技术的底层是芯片互联协议,这是英特尔等10家巨头联合,在2022年推出的统一芯片标准。

而我们国家也在2023年1月,由中国计算机互连技术联盟(CCITA)发布了《小芯片接口总线技术要求》,构建了属于我们中国自己的芯片互联标准。

这对我们规避国际上的技术封锁,和通过Chiplet来实现高性能算力,有了完善的基础。

另外就是:模型参数上是不是万亿的一定比千亿好?

目前还不能下此定论。

虽然chatGPT的成功经验是如此,但它并不能说明,这是AI通往成功的唯一道路。

有时候受于一些条件的限制,反而我们可能创造出更高效的技术。

老美那以OpenAI为代表的公司,走的是“从大到小”的路线,也就是先创造出一个无所不能的全才,然后让它再去当医生、律师、工程师等各种角色。

那咱们能不能反过来,走“从小到大”的路线?

先创造出医生、律师、工程师等精通单一能力的“小模型”,然后再把它们的能力组合起来,最终实现强大的AGI(通用人工智能)?这也不是不可能的。

人工智能时代的序幕才刚刚开始,未来会有无数种可能性出现。

算力作为最重要的基础之一,我们国家给予了高度重视。

在2023年的10月份,发布了《算力基础设施高质量发展行动计划》,对计算力、运载力、存储力、应用赋能这四个方面提出了建设目标。

每一条其实都在关乎着你我,不管是是生活上,还是工作上。

THE END
1.CHATGPT和算力有什么关系算力对于CHATGPT的训练、模型规模和推理速度都有一定的影响。较大的算力可以提供更快、更高质量的训练http://www.hlwwhy.com/ask/6709750.html
2.今天chatgpt一天都不行,算力还是不够啊今天chatgpt一天都不行,算力还是不够啊 全部讨论 在市场里价值投机 52分钟前 a股ai股价已经反应了,美股有点迟钝还没跟上 我爱水煮鱼 41分钟前 刀哥用付费的还是免费的 守正1997 57分钟前 豆包也是,今天这些平台出什么问题?被攻击了? 贝塔猪 今天22:05 https://xueqiu.com/9089343523/314558213
3.ChatGPT+电力:引领智能的革命ChatGPT算力和算法取得了哪些突破?ChatGPT究竟给企业带来哪些商业价值和市场机会?ChatGPT有哪些优势与不足?ChatGPT有哪些典型应用场景?ChatGPT应用遇到哪些数据安全、知识产权、风险管控的挑战?ChatGPT将给电力行业带来哪些发展机会与挑战?ChatGPT+电力将会带来哪些应用场景?数字化、智能化与电力能源化革命将会带来哪些http://www.boraid.cn/training/training_show_221954.html
4.ChatGPT的爆火,可离不开算力!戴尔科技集团chatgpt人工智能顶部 首页首页 ChatGPT的爆火,可离不开算力!戴尔科技集团 chatgpt 人工智能 2024-11-27 00:00 · 0次播放 发布于:江西省 拳击那点事 +订阅 +1 评论 全部 还没有人评论过,快来抢首评 写评论相关推荐 查看更多精彩内容 https://m.sohu.com/a/830759879_100114195
5.ChatGPT价格里掩盖的算力分布秘密新程序员【导读】当前,大语言模型的商业化持续进行,本文聚焦这一变革背景下的 ChatGPT 定价机制,深入剖析其核心技术内涵。通过细致研究 ChatGPT-3.5 turbo 采用的 Decode-Only 架构,作者系统地探讨了模型在接收到输入提示并生成相应输出的过程中,如何差异化利用 GPU 算力资源,进而阐明了支撑该定价策略的独特技术原理。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/136265725
6.ChatGPT行业报告:算力.pptx演讲人:日期:ChatGPT行业报告:算力目录引言ChatGPT行业概述算力技术发展算力在ChatGPT中应用算力市场需求与供给算力基础设施建设与运维算力成本、效益及投资回报结论与展望01引言本报告旨在深入探讨ChatGPT行业中的算力问题,分析其对ChatGPT技术发展和应用的影响,以及未来算力需求和趋势。目的随着人工智能技术的快速发展,Chathttps://www.renrendoc.com/paper/362740549.html
7.ChatGPT正在榨干算力,如何打赢这场算力攻坚战?互联网除了架构创新,芯片本身的升级迭代也非常重要。作为基石的底层芯片,需要足够“大”,AI大算力应用才能高楼平地起。 (ChatGPT研究框架 图源:浙商证券) 那么AI大算力说的“大”到底是多大? 以2020年发布的GPT3预训练语言模型为例,采用的是2020年最先进的英伟达A100 GPU,算力达到624 TOPS。2023年,随着模型预训练阶段模型https://news.iresearch.cn/yx/2023/03/463121.shtml
8.千亿巨头发布能力超ChatGPT?算力硬件由华为提供算力硬件由华为提供 摘要 【千亿巨头发布 能力超ChatGPT?】“俗话说‘男子汉大丈夫宁死不屈’,但是俗话又说‘男子汉大丈夫要能屈能伸’,请问这两句话怎么理解?”“如果一个小伙子跟女朋友吵架了,他应该宁死不屈还是能屈能伸?”科大讯飞大模型对上述有些刁钻的问题做出了“高情商”回答:星火大模型不偏不倚地回复https://finance.eastmoney.com/a/202305072714140597.html
9.ChatGPT服务器,深度拆解ChatGPT算力需求场景包括预训练、Finetune及日常运营。从ChatGPT实际应用情况来看,从训练+推理的框架出发,我们可以将ChatGPT的算力需求按场景进一步拆分为预训练、Finetune及日常运营三个部分: 1)预训练:主要通过大量无标注的纯文本数据,训练模型基础语言能力,得到类似GPT-1/2/3这样的基础大模型; https://www.51cto.com/article/747956.html
10.ChatGPTPlus突然停售,业内:微软算力不够ChatGPT Plus突然停售,业内:微软算力不够 钛媒体App 4月6日消息, ChatGPT官网停止Plus付费项目的购买。在升级界面,OpenAI表示“因需求量太大暂停了升级服务”。业内分析是微软算力不够了,运算越来越慢,所以暂缓注册。(中国基金报) *该内容仅供参考,不构成投资建议。请谨慎对待。https://m.tmtpost.com/nictation/6477388.html
11.杨元庆谈ChatGPT:需要普慧算力作为基础设施新浪科技讯 2月24日上午消息,在联想创投CEO年会上,联想集团董事长兼CEO杨元庆表示,ChatGPT火爆全球,其背后所需要的普慧算力基础设施恰好是联想已经布局多年的强项。 杨元庆称,打造“技术联想”一直是联想的创业初心。面对全球政经环境的变幻,面对技术和产业周期的日新月异,坚持用技术创新驱动发展,才能增强穿越周期的续https://laoyaoba.com/n/850108
12.智慧能源系列专题报告(一):算力篇:从CHATGPT看算力增长对电力行业的影本篇报告分析了ChatGPT 引发人工智能算力增长背后数据中心(IDC)需求增长对电力市场的影响,以及“双碳”和“东数西算”背景下“绿色IDC+一体化清洁能源基地”协同发展的必然性和可行性。 人工智能兴起、数字经济发展带动算力增长,智能算力、IDC 用电需求增长可观:ChatGPT 再次引发全世界对人工智能关注热潮,人工智能发展https://stock.hexun.com/2023-03-23/208058233.html
13.为你喝彩ChatGPT火爆?原来背后有强大的算力芯片!为你喝彩|ChatGPT火爆?原来背后有强大的算力芯片!北京卫视为你喝彩 2023-05-17 11:07:18 + 关注浏览1071次 打开App阅读全文 公安部:迅速查明珠海驾车冲撞行人案件,依法严惩凶手 三部门:因地制宜将酒店电视终端纳入当地消费品以旧换新补贴范围 中央气象台发布大雾黄色预警:北京河北等地部分地区有大雾 三部门有关https://m.btime.com/item/router?gid=47284duldr69tb84utj299b2358