上万颗芯片数亿美元投资揭秘ChatGPT背后的微软昂贵超级计算机

微软超级计算机使用了上万颗英伟达GPU

2019年,当微软向ChatGPT开发商OpenAI投资10亿美元时,它同意为这家人工智能研究创业公司打造一台庞大的尖端超级计算机。唯一的问题是:微软没有OpenAI需要的那样的东西,也无法完全确定它能在Azure云服务中构建这么大的东西而不会破坏它。

上万颗芯片、数亿投资

为了克服这一挑战,微软不得不想办法将数万颗英伟达A100图形芯片(训练人工智能模型的主力)组合在一起,并改变服务器在机架上的位置以防止断电。微软负责云计算和人工智能的执行副总裁斯科特·格思里(ScottGuthrie)不愿透露该项目的具体成本,但表示“可能不止”几亿美元。

“我们构建了一个可以在超大规模范围内运行并且可靠的系统架构。这就是ChatGPT成为可能的原因,”微软Azure人工智能基础设施总经理尼迪·查普尔(NidhiChappell)表示,“它是从中得出的一个模型,未来还会有很多很多其他的模型。”

英伟达A100造价1万美元

这项技术帮助OpenAI发布了ChatGPT,后者在去年11月发布几天后就吸引了100多万用户,现在正被纳入其他公司的商业模式,从亿万富翁对冲基金创始人肯·格里芬(KenGriffin)运营的公司,到外卖公司Instacart。随着ChatGPT等生成式人工智能工具越来越受到企业和消费者的兴趣,微软、亚马逊公司和谷歌等云服务提供商将面临更大的压力,需要确保他们的数据中心能够提供所需的巨大计算能力。

现在,微软使用它为OpenAI构建的同一套资源来训练和运行自己的大型人工智能模型,包括上个月推出的新必应搜索机器人。微软还向其他客户销售该系统。作为微软与OpenAI扩大合作协议,追加100亿美元投资的一部分,该软件巨头已经在研究下一代人工智能超级计算机。

“我们不想把它打造成定制产品,它一开始是一个定制产品,但我们总是想办法把它打造成通用型产品,这样任何想训练大型语言模型的人都可以利用同样的改进,”格思里在一次采访中表示,“这真的能够帮助我们成为使用更广泛的人工智能云。”

微软Azure云服务

目前,新必应搜索仍处于预览阶段。微软正在从等待名单中逐渐增加更多用户。格思里的团队每天与大约24员工举行会议,后者被称之为“后勤维修人员”,这一称呼原指一群在比赛中调整赛车的机械师。该小组的工作是弄明白如何让更强的计算能力快速上线,以及解决突然出现的问题。

“这很像是一种碰头会,就像是,‘嘿,任何人都有好主意,让我们今天把它放在桌面上讨论它,弄清楚好吧,我们可以在这里节省几分钟吗?我们可以节省几个小时吗?几天?’”格思里表示。

小错会酿成大祸

云服务依赖的是成千上万个不同的部件和物品,包括服务器的各个部件、管道、建筑物的混凝土、不同的金属和矿物,任何一个部件的推迟或供应不足,无论多么微小,都可能导致功亏一篑。最近,维修人员不得不处理电缆托盘的短缺问题。电缆托盘是一种篮子状的精巧装置,用来固定从机器上脱落的电缆。因此,他们设计了一种新的电缆托盘,使得微软可以自己制造,也可以找地方购买。格思里说,他们还在研究如何尽可能多地压缩世界各地现有数据中心的服务器,这样他们就不必等待新的大楼了。

由于所有机器都是同时启动的,微软不得不考虑它们的放置位置和电源的位置。格思里说,否则,你最终会得到数据中心版本的结果,就像你在厨房里同时打开微波炉、烤面包机和吸尘器一样。

新一代超级计算机

微软Azure全球基础设施总监阿利斯泰尔·斯皮尔斯(AlistairSpeirs)表示,该公司还必须确保能够为所有这些机器和芯片降温,并在较冷的气候条件下使用蒸发、室外空气,在炎热的气候条件下使用高科技沼泽冷却器。

格思里称,微软将继续开发定制服务器和芯片设计,并想办法优化供应链,以尽可能地提高速度、效率和节省成本。

“现在让世界惊叹的模型是建立在我们几年前开始建造的超级计算机上的。新的模型将建立在我们正在训练的新型超级计算机上,这台计算机更大,也更精密。”(作者/箫雨)

您当前使用的浏览器版本过低,导致网站不能正常访问,建议升级浏览器

THE END
1.chatgpt怎么使用图片?Worktile社区6. 答案生成:使用训练好的ChatGPT模型对输入的问题和图像进行推断,生成对应的答案。可以使用Beam Search等策略来改进答案的质量。 需要注意的是,训练一个同时处理文本和图像的ChatGPT模型是一项复杂的任务,需要大量的数据和计算资源。此外,模型训练的过程可能需要较长的时间,需要有耐心和合适的硬件设备。 https://worktile.com/kb/ask/536988.html
2.图像识别:结合ChatGPT与图像识别技术Q: 如何将ChatGPT与图像识别技术结合使用? A: 将ChatGPT与图像识别技术结合使用的主要步骤包括图像预处理、图像描述生成、文本描述处理、自然语言处理以及结果解释等。 Q: 将ChatGPT与图像识别技术结合使用的实际应用场景有哪些? A: 将ChatGPT与图像识别技术结合使用的实际应用场景包括自动驾驶汽车、物流和仓库管理、医https://blog.csdn.net/universsky2015/article/details/135780523
3.2023ChatGPT人工智能新纪元.pdf1.1.2ChatGPT并不完美 虽然ChatGPT模型与GPT-3模型相比,性能提高了一个层次,但 ChatGPT依然有不完美的地方。 实际上,ChatGPT和GPT-3类似人类的输出和惊人的通用性只是优 秀技术的结果,而不是真正的“聪明”。不管是过去的GPT-3还是现在的 ChatGPT,都会犯一些可笑的错误,尤其是文化常识问题、数学计算题 等。而https://max.book118.com/html/2024/0112/5304213221011041.shtm
4.chatgpt图计算pert图怎么算footballboy的技术博客项目中各个工序的工作时间不肯定,通常引入概率计算方法得出工序时间。 3,PERT网络分析法的工作步骤 A,确定完成项目必须进行的每一项有意义的活动,完成每项活动都产生事件或结果 B,确定活动完成的先后次序 C,绘制活动流程从起点到终眯的图形,结果得到一幅箭线流程图,称之为PERT网络: https://blog.51cto.com/u_12196/11533769
5.如何用chatgpt辅助制几何图绘制几何图:根据ChatGPT提供的指导,使用绘图工具(例如Python中的matplotlib库)将几何图绘制出来。根据模型提供的信息,可以计算出坐标、边长、角度等,并将其绘制在图像上。 检查和修正:绘制完几何图后,检查图形的正确性并与ChatGPT进行比对。如果有错误或不符合预期的地方,可以进一步询问模型并修正图形。 https://www.chatairc.com/14085/
6.教7岁小孩搞懂ChatGPT树龙:所以大语言模型非常耗费算力。随着大语言模型越来越多,GPU(图形处理器)的需求越来越大,生产GPU的公司这两年都赚翻了。为什么不用传统电脑使用的CPU(中央处理器)呢?因为训练大语言模型需要大量、复杂的并行(同时进行的)计算,而这是GPU的强项。 小宝:那相比之下,人类的大脑真是太强大了,拥有100倍ChatGPT的神https://36kr.com/p/2596804134330501
7.AIGC从入门到实战:ChatGPT+Midjourney+StableDiffusion+行业应用近年来,人工智能领域出现了若干现象级产品,如耳熟能详的AlphaGo、AlphaFold和ChatGPT,这些现象级产品表现出较强的内容生成能力(即“无中生有”):AlphaGo根据当前落子局势,从对已有落子的学习中生成一个策略,以更好应对当前落子;AlphaFold从蛋白质的基因序列和其三维空间结构的配对数据中进行学习后,按照给定的基因序列输https://www.epubit.com/bookDetails?id=UB836243ed3382a
8.ChatGPT的狂飙之路相同的是,他们都表现出了对 ChatGPT 能力的极大惊叹,态度明显趋向于积极。由此可见,对于 ChatGPT 人们也呈现出一种既爱又恨的复杂心态。一方面,它可以大幅提高工作效率,把人们从繁琐的重复劳动中解放出来;另一方面,“AI或将取代人类”的阴云恐怕将一直笼罩在人类头顶之上。事实上,新闻、高等教育、图形和软件设计等http://www.xinminweekly.com.cn/lunbo/2023/02/16/18541.html
9.对话ChatGPT一次产品视角的GPT功能测试(基于gpt3.5模型)阿里的千义百问邀请码还没下来,故没有办法做对照测试,于是找了个套壳的GPT 3.5,借着慕课网的这次活动,从如下几个维度进行简单的测试,并将测试结果和Question:请给出通用的图形数字验证码的代码示例,分别用C#和java实现,并给出详细注释 Answer:由于图形数字验证码的实现方式和具体需求有关,因此我提供一种通用https://www.imooc.com/article/334971
10.用ChatGPT画流程图——人人都是提示工程师(10)5.3 用 ChatGPT 画流程图 流程图是一种用于描述流程或过程的图形化工具,通常用于展示 复杂流程的步骤、控制流程、决策路径和数据流等。在各个领域中,流程图都有广泛的应用。以下是一些常见的应用场景。 ·项目管理:流程图可以用于展示项目的整体流程和各个阶段的 具体步骤,帮助项目管理者与团队成员更好地了解项目的http://www.51testing.com/mobile/view.php?itemid=7799373
11.GPT的背后,从命运多舛到颠覆世界,人工神经网络的跌宕80年但该领域在学术界与产业界的飞速发展还是要等到17年前,硬件方面的突破——通用计算GPU芯片的出现,于是,才有了今天,随着ChatGPT等大型语言预训练神经网络模型,成为广为人知的名字。 从一定意义上,人工神经网络的成功是一种幸运,因为,不是所有的研究,都能等到核心的关键突破,等到万事齐备。在更多的领域,技术的突破出https://wallstreetcn.com/articles/3689779?keyword=w