ChatGPT算力成本巨大,成为云厂商的一大门槛,大厂如何选择

微软的Azure云服务为ChatGPT构建了超过10,000个NvidiaA100GPU芯片的AI计算集群。

今年2月,包括阿里巴巴和百度在内的中国企业宣布将开发类似ChatGPT的产品,或将投资研发生成式人工智能。在国内,AI算力、AI大模型、生成式AI被认为只有云厂商才有资格。华为、阿里、腾讯、字节跳动、百度都有云业务,理论上都有跑通AI算力、AI大模型、生成AI应用的能力。

但是有能力不代表可以跑到终点线。这需要长期的高成本投资。GPU芯片的价格是公开的,算力成本也很容易衡量。大型模型需要数据收集、手动标记和模型训练。这些软成本很难简单计算。生成式人工智能的投资规模通常高达数百亿。

GPU芯片数量决定了“智商”

AI大模型的推理和训练高度依赖英伟达的GPU芯片。缺少芯片会导致算力不足。计算能力不足意味着无法处理庞大的模型和数据量。最终的结果是AI应用存在智商差距。

多位云计算技术人员告诉记者,运行ChatGPT至少需要1万颗英伟达A100芯片。但是,拥有超过10,000颗GPU芯片的公司不超过5家。其中,最多只有一家公司拥有10,000个NvidiaA100GPU。

另一位大型服务器厂商人士表示,即使乐观估计,GPU储备最大的公司也不超过5万片,并以来自英伟达的中低端数据中心芯片(如英伟达A10))为主。这些GPU芯片分散在不同的数据中心,一个数据中心通常只配备数千颗GPU芯片。

此外,由于去年8月美国政府开始实施贸易限制,中国企业长期无法获得NVIDIAA100芯片。现有A100芯片储备全部为存货,剩余使用寿命约4-6年。

中国企业目前可以获得的最佳替代品是英伟达的A800芯片。A800被认为是A100的“阉割版”。2022年8月,在A100被禁止在中国市场销售后,英伟达在当年第三季度推出了专供中国市场使用的A800芯片。这款产品的计算性能与A100基本持平,但数据传输速度降低了30%。这会直接影响AI集群的训练速度和效果。

不过目前A800芯片在中国市场严重缺货。虽然是A100的“阉割版”,但A800在京东官网的售价却超过了8万元/件,甚至超过了A100的官方售价(1万美元/件)。即便如此,A800在京东官网依然处于断货状态。

一位云厂商人士告诉记者,A800的实际售价甚至高于10万元/片,而且价格还在上涨。A800目前在浪潮、新华三等国内服务器厂商手中属于稀缺产品,一次只能采购数百枚。

GPU数量或性能不足直接导致AI推理和模型训练的准确性不足。其结致使中国企业做出类似的对话机器人,机器人的“智商”也会远低于ChatGPT。国内云厂商高性能GPU芯片的短缺,正成为限制中国版ChatGPT诞生的最直接因素。

成本高企

AI算力和大模型是比云还烧钱的吞金猛兽。

即使有足够的高性能GPU,中国云厂商也将面临高昂的硬件采购成本、模型训练成本和日常运营成本。面对以上成本,有资本储备、战略选择和实际能力的企业不超过3家。

OpenAI可以做ChatGPT,背后微软提供资金和算力。2019年,微软向OpenAI投资了10亿美元。2021年,微软又进行一轮新投资,金额不详。今年1月,微软宣布未来几年将向OpenAI投资100亿美元。

对于云厂商来说,AI算力和大模型需要面临高昂的硬件采购成本、模型训练成本和日常运营成本。

第二,模型训练的成本。如果算法模型要足够准确,则需要进行多轮算法模型训练。一家外资云厂商的资深技术人员告诉记者,ChatGPT一个完整的模型训练成本超过1200万美元(约合人民币8000万元)。如果进行10次完整的模型训练,成本将高达8亿元。GPU芯片的价格是公开的,算力成本相对容易衡量。但是,大型AI模型还需要进行数据采集、人工标注、模型训练等一系列工作。这些软成本很难简单计算。具有不同效果的模型具有不同的最终成本。

也就是说,进入AI算力和AI规模化赛道,前期的硬件采购和集群建设成本高达数十亿元。后期的模型训练、日常运营、产品研发等成本也高达数十亿元。某管理咨询公司的技术战略合作伙伴告诉记者,生成人工智能的投资规模高达百亿。

微软大规模采购GPU构建智能计算集群,在业务逻辑上是可行的。2022年,微软在云计算基础设施上的支出超过250亿美元。当年微软的营业利润达到828亿美元,而微软的云营业利润超过400亿美元。微软的云盈利超过支出,在AI算力和大规模模型业务上的大规模投入与微软的财务状况相匹配。

微软AI计算有产品、有客户、有收入,形成新的增长点。微软客户通常会在云上租用数千个高性能GPU进行语言模型学习,以此使用他们自己的生成AI。

微软拥有AzureML和OpenAI。AzureML有200多家客户,包括制药公司拜耳和审计公司毕马威。AzureML连续四个季度收入增长超过100%。微软云甚至形成了“云-企业软件-AI计算”三个旋转的增长曲线。其中,公有云Azure营收增速约为30%-40%,软件业务营收增速约为50%-60%,AI算力营收增速超过100%。

中国企业对云基础设施的资本支出有限,投资智能计算集群和AI大模型需要分流有限的预算支出。更大的挑战不仅是中短期内无法盈利,还会亏损更多。

三家公司均未披露投资云基础设施的资本支出。假设这3家公司和亚马逊一样,50%的资本支出用于投资云基础设施,数据分别为266亿元、311亿元、56亿元。资本支出充裕的公司投资数十亿美元能负担得起,但对于资本支出不足的企业来说是一种负担。

国内已经宣布建设智能计算集群的企业有阿里云、华为、百度等,但智能计算集群的GPU芯片数量未知。2022年,各大云厂商都把增加毛利、减少亏损作为战略重点。现阶段购买高性能GPU和构建智能计算集群需要巨大的投资。不仅会加重损失,还需要依靠群体输血。这考验企业管理层的战略意志。

大模型高昂,先做小模型

华为、阿里、腾讯、字节跳动、百度都有云服务,理论上有中国版ChatGPT的实力。

云计算业内人士指出,几家有能力的公司也会有实际的战略考虑。比如腾讯、百度、字节跳动有云,数据量也很大,但云业务亏损,长期资金储备和战略意志存疑。华为依靠自研升腾芯片建立了大模型技术,但受“断供”影响,无法获得英伟达的GPU芯片,作为硬件厂商,缺乏互联网公司的数据积累。

由于以上限制,目前能够实现AI大模型商业化的公司寥寥无几。到最后,同时具备资本储备、战略意志和实践能力的企业将屈指可数。

在算力资源紧缺的情况下,可以优先投资行业市场,为企业客户提供服务。一位管理咨询公司的技术战略合作伙伴认为,ChatGPT只是一个对话机器人,商业应用场景的展示暂时有限。用户规模越大,成本越高,损失越大。如何在细分领域将AI算力和大模型商业化,是获得正现金流的关键。

中国市场AI算力规模化商业模式仍处于起步阶段。目前,国内已有少量自动驾驶、金融等领域客户开始使用AI算力。例如,小鹏汽车目前使用阿里云的智能计算中心进行自动驾驶模型训练。

一位数据中心产品经理认为,国内银行金融客户在反欺诈中大量使用模型训练技术,通常只需要租用数百个性能较低的GPU训练模型即可。也是AI计算和模型训练,是一种成本更低的方案。事实上,通用的大规模模型并不能解决特定行业的问题,金融、汽车、消费等各个领域都需要行业模型。

中国没有足够的高性能GPU来进行大规模AI模型训练,所以可以先在细分领域做小模型。人工智能技术的飞速发展已经超出了人们的认知。对于中国企业来说,根本之道还是要坚持持续布局从而达成战略性发力。

审核编辑:李倩

原文标题:ChatGPT算力成本巨大,成为云厂商的一大门槛,大厂如何选择

长沙市望城经济技术开发区航空路6号手机智能终端产业园2号厂房3层(0731-88081133)

THE END
1.CHATGPT和算力有什么关系算力对于CHATGPT的训练、模型规模和推理速度都有一定的影响。较大的算力可以提供更快、更高质量的训练http://www.hlwwhy.com/ask/6709750.html
2.今天chatgpt一天都不行,算力还是不够啊今天chatgpt一天都不行,算力还是不够啊 全部讨论 在市场里价值投机 52分钟前 a股ai股价已经反应了,美股有点迟钝还没跟上 我爱水煮鱼 41分钟前 刀哥用付费的还是免费的 守正1997 57分钟前 豆包也是,今天这些平台出什么问题?被攻击了? 贝塔猪 今天22:05 https://xueqiu.com/9089343523/314558213
3.ChatGPT+电力:引领智能的革命ChatGPT算力和算法取得了哪些突破?ChatGPT究竟给企业带来哪些商业价值和市场机会?ChatGPT有哪些优势与不足?ChatGPT有哪些典型应用场景?ChatGPT应用遇到哪些数据安全、知识产权、风险管控的挑战?ChatGPT将给电力行业带来哪些发展机会与挑战?ChatGPT+电力将会带来哪些应用场景?数字化、智能化与电力能源化革命将会带来哪些http://www.boraid.cn/training/training_show_221954.html
4.ChatGPT的爆火,可离不开算力!戴尔科技集团chatgpt人工智能顶部 首页首页 ChatGPT的爆火,可离不开算力!戴尔科技集团 chatgpt 人工智能 2024-11-27 00:00 · 0次播放 发布于:江西省 拳击那点事 +订阅 +1 评论 全部 还没有人评论过,快来抢首评 写评论相关推荐 查看更多精彩内容 https://m.sohu.com/a/830759879_100114195
5.ChatGPT价格里掩盖的算力分布秘密新程序员【导读】当前,大语言模型的商业化持续进行,本文聚焦这一变革背景下的 ChatGPT 定价机制,深入剖析其核心技术内涵。通过细致研究 ChatGPT-3.5 turbo 采用的 Decode-Only 架构,作者系统地探讨了模型在接收到输入提示并生成相应输出的过程中,如何差异化利用 GPU 算力资源,进而阐明了支撑该定价策略的独特技术原理。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/136265725
6.ChatGPT行业报告:算力.pptx演讲人:日期:ChatGPT行业报告:算力目录引言ChatGPT行业概述算力技术发展算力在ChatGPT中应用算力市场需求与供给算力基础设施建设与运维算力成本、效益及投资回报结论与展望01引言本报告旨在深入探讨ChatGPT行业中的算力问题,分析其对ChatGPT技术发展和应用的影响,以及未来算力需求和趋势。目的随着人工智能技术的快速发展,Chathttps://www.renrendoc.com/paper/362740549.html
7.ChatGPT正在榨干算力,如何打赢这场算力攻坚战?互联网除了架构创新,芯片本身的升级迭代也非常重要。作为基石的底层芯片,需要足够“大”,AI大算力应用才能高楼平地起。 (ChatGPT研究框架 图源:浙商证券) 那么AI大算力说的“大”到底是多大? 以2020年发布的GPT3预训练语言模型为例,采用的是2020年最先进的英伟达A100 GPU,算力达到624 TOPS。2023年,随着模型预训练阶段模型https://news.iresearch.cn/yx/2023/03/463121.shtml
8.千亿巨头发布能力超ChatGPT?算力硬件由华为提供算力硬件由华为提供 摘要 【千亿巨头发布 能力超ChatGPT?】“俗话说‘男子汉大丈夫宁死不屈’,但是俗话又说‘男子汉大丈夫要能屈能伸’,请问这两句话怎么理解?”“如果一个小伙子跟女朋友吵架了,他应该宁死不屈还是能屈能伸?”科大讯飞大模型对上述有些刁钻的问题做出了“高情商”回答:星火大模型不偏不倚地回复https://finance.eastmoney.com/a/202305072714140597.html
9.ChatGPT服务器,深度拆解ChatGPT算力需求场景包括预训练、Finetune及日常运营。从ChatGPT实际应用情况来看,从训练+推理的框架出发,我们可以将ChatGPT的算力需求按场景进一步拆分为预训练、Finetune及日常运营三个部分: 1)预训练:主要通过大量无标注的纯文本数据,训练模型基础语言能力,得到类似GPT-1/2/3这样的基础大模型; https://www.51cto.com/article/747956.html
10.ChatGPTPlus突然停售,业内:微软算力不够ChatGPT Plus突然停售,业内:微软算力不够 钛媒体App 4月6日消息, ChatGPT官网停止Plus付费项目的购买。在升级界面,OpenAI表示“因需求量太大暂停了升级服务”。业内分析是微软算力不够了,运算越来越慢,所以暂缓注册。(中国基金报) *该内容仅供参考,不构成投资建议。请谨慎对待。https://m.tmtpost.com/nictation/6477388.html
11.杨元庆谈ChatGPT:需要普慧算力作为基础设施新浪科技讯 2月24日上午消息,在联想创投CEO年会上,联想集团董事长兼CEO杨元庆表示,ChatGPT火爆全球,其背后所需要的普慧算力基础设施恰好是联想已经布局多年的强项。 杨元庆称,打造“技术联想”一直是联想的创业初心。面对全球政经环境的变幻,面对技术和产业周期的日新月异,坚持用技术创新驱动发展,才能增强穿越周期的续https://laoyaoba.com/n/850108
12.智慧能源系列专题报告(一):算力篇:从CHATGPT看算力增长对电力行业的影本篇报告分析了ChatGPT 引发人工智能算力增长背后数据中心(IDC)需求增长对电力市场的影响,以及“双碳”和“东数西算”背景下“绿色IDC+一体化清洁能源基地”协同发展的必然性和可行性。 人工智能兴起、数字经济发展带动算力增长,智能算力、IDC 用电需求增长可观:ChatGPT 再次引发全世界对人工智能关注热潮,人工智能发展https://stock.hexun.com/2023-03-23/208058233.html
13.为你喝彩ChatGPT火爆?原来背后有强大的算力芯片!为你喝彩|ChatGPT火爆?原来背后有强大的算力芯片!北京卫视为你喝彩 2023-05-17 11:07:18 + 关注浏览1071次 打开App阅读全文 公安部:迅速查明珠海驾车冲撞行人案件,依法严惩凶手 三部门:因地制宜将酒店电视终端纳入当地消费品以旧换新补贴范围 中央气象台发布大雾黄色预警:北京河北等地部分地区有大雾 三部门有关https://m.btime.com/item/router?gid=47284duldr69tb84utj299b2358