AI计算,为什么要用GPU?

数字芯片,还可以进一步细分,分为:逻辑芯片、存储芯片以及微控制单元(MCU)。

存储芯片和MCU以后再介绍,今天小枣君重点讲讲逻辑芯片。

逻辑芯片,其实说白了就是计算芯片。它包含了各种逻辑门电路,可以实现运算与逻辑判断功能,是最常见的芯片之一。

大家经常听说的CPU、GPU、FPGA、ASIC,全部都属于逻辑芯片。而现在特别火爆的AI,用到的所谓“AI芯片”,也主要是指它们。

CPU(中央处理器)

先说说大家最熟悉的CPU,英文全称CentralProcessingUnit,中央处理器。

但凡是个人都知道,CPU是计算机的心脏。

现代计算机,都是基于1940年代诞生的冯·诺依曼架构。在这个架构中,包括了运算器(也叫逻辑运算单元,ALU)、控制器(CU)、存储器、输入设备、输出设备等组成部分。

冯·诺依曼架构

数据来了,会先放到存储器。然后,控制器会从存储器拿到相应数据,再交给运算器进行运算。运算完成后,再把结果返回到存储器。

这个流程,还有一种更有格调的叫法:“Fetch(取指)-Decode(译码)-Execute(执行)-MemoryAccess(访存)-WriteBack(写回)”。

大家看到了,运算器和控制器这两个核心功能,都是由CPU负责承担的。

具体来说,运算器(包括加法器、减法器、乘法器、除法器),负责执行算术和逻辑运算,是真正干活的。控制器,负责从内存中读取指令、解码指令、执行指令,是指手画脚的。

除了运算器和控制器之外,CPU还包括时钟模块和寄存器(高速缓存)等组件。

寄存器是CPU中的高速存储器,用于暂时保存指令和数据。它的CPU与内存(RAM)之间的“缓冲”,速度比一般的内存更快,避免内存“拖累”CPU的工作。

寄存器的容量和存取性能,可以影响CPU对内存的访问次数,进而影响整个系统的效率。后面我们讲存储芯片的时候,还会提到它。

CPU一般会基于指令集架构进行分类,包括x86架构和非x86架构。x86基本上都是复杂指令集(CISC),而非x86基本为精简指令集(RISC)。

PC和大部分服务器用的是x86架构,英特尔和AMD公司占据主导地位。非x86架构的类型比较多,这些年崛起速度很快,主要有ARM、MIPS、Power、RISC-V、Alpha等。以后会专门介绍。

GPU(图形处理器)

再来看看GPU。

GPU是显卡的核心部件,英文全名叫GraphicsProcessingUnit,图形处理单元(图形处理器)。

GPU并不能和显卡划等号。显卡除了GPU之外,还包括显存、VRM稳压模块、MRAM芯片、总线、风扇、外围设备接口等。

1999年,英伟达(NVIDIA)公司率先提出了GPU的概念。

之所以要提出GPU,是因为90年代游戏和多媒体业务高速发展。这些业务给计算机的3D图形处理和渲染能力提出了更高的要求。传统CPU搞不定,所以引入了GPU,分担这方面的工作。

根据形态,GPU可分为独立GPU(dGPU,discrete/dedicatedGPU)和集成GPU(iGPU,integratedGPU),也就是常说的独显、集显。

GPU也是计算芯片。所以,它和CPU一样,包括了运算器、控制器和寄存器等组件。

但是,因为GPU主要负责图形处理任务,所以,它的内部架构和CPU存在很大的不同。

如上图所示,CPU的内核(包括了ALU)数量比较少,最多只有几十个。但是,CPU有大量的缓存(Cache)和复杂的控制器(CU)。

这样设计,是因为CPU是一个通用处理器。作为计算机的主核心,它的任务非常复杂,既要应对不同类型的数据计算,还要响应人机交互。

复杂的条件和分支,还有任务之间的同步协调,会带来大量的分支跳转和中断处理工作。它需要更大的缓存,保存各种任务状态,以降低任务切换时的时延。它也需要更复杂的控制器,进行逻辑控制和调度。

CPU的强项是管理和调度。真正干活的功能,反而不强(ALU占比大约5%~20%)。

而GPU则完全不同。

GPU为图形处理而生,任务非常明确且单一。它要做的,就是图形渲染。图形是由海量像素点组成的,属于类型高度统一、相互无依赖的大规模数据。

并行计算,当然需要更多的核啊。

如前图所示,GPU的内核数,远远超过CPU,可以达到几千个甚至上万个(也因此被称为“众核”)。

GPU的核,称为流式多处理器(StreamMulti-processor,SM),是一个独立的任务处理单元。

在整个GPU中,会划分为多个流式处理区。每个处理区,包含数百个内核。每个内核,相当于一颗简化版的CPU,具备整数运算和浮点运算的功能,以及排队和结果收集功能。

GPU的控制器功能简单,缓存也比较少。它的ALU占比,可以达到80%以上。

虽然GPU单核的处理能力弱于CPU,但是数量庞大,非常适合高强度并行计算。同等晶体管规模条件下,它的算力反而比CPU更强。

还是以餐厅为例。GPU就像一个拥有成千上万名初级厨师的单一型餐厅。它只适合做某种指定菜系。但是,因为厨师多,配菜简单,所以大家一起炒,上菜速度反而快。

CPUvsGPU

GPU与AI计算

大家都知道,现在的AI计算,都在抢购GPU。英伟达也因此赚得盆满钵满。为什么会这样呢?

原因很简单,因为AI计算和图形计算一样,也包含了大量的高强度并行计算任务。

深度学习是目前最主流的人工智能算法。从过程来看,包括训练(training)和推理(inference)两个环节。

在训练环节,通过投喂大量的数据,训练出一个复杂的神经网络模型。在推理环节,利用训练好的模型,使用大量数据推理出各种结论。

训练环节由于涉及海量的训练数据,以及复杂的深度神经网络结构,所以需要的计算规模非常庞大,对芯片的算力性能要求比较高。而推理环节,对简单指定的重复计算和低延迟的要求很高。

GPU凭借自身强悍的并行计算能力以及内存带宽,可以很好地应对训练和推理任务,已经成为业界在深度学习领域的首选解决方案。

目前,大部分企业的AI训练,采用的是英伟达的GPU集群。如果进行合理优化,一块GPU卡,可以提供相当于数十台甚至上百台CPU服务器的算力。

不过,在推理环节,GPU的市场份额占比并没有那么高。具体原因我们后面会讲。

将GPU应用于图形之外的计算,最早源于2003年。

那一年,GPGPU(GeneralPurposecomputingonGPU,基于GPU的通用计算)的概念首次被提出。意指利用GPU的计算能力,在非图形处理领域进行更通用、更广泛的科学计算。

GPGPU在传统GPU的基础上,进行了进一步的优化设计,使之更适合高性能并行计算。

2009年,斯坦福的几位学者,首次展示了利用GPU训练深度神经网络的成果,引起了轰动。

几年后,2012年,神经网络之父杰弗里·辛顿(GeoffreyHinton)的两个学生——亚历克斯·克里切夫斯基(AlexKrizhevsky)、伊利亚·苏茨克沃(IlyaSutskever),利用“深度学习+GPU”的方案,提出了深度神经网络AlexNet,将识别成功率从74%提升到85%,一举赢得ImageNet挑战赛的冠军。

除了硬刚算力之外,他们还积极构建围绕GPU的开发生态。他们建立了基于自家GPU的CUDA(ComputeUnifiedDeviceArchitecture)生态系统,提供完善的开发环境和方案,帮助开发人员更容易地使用GPU进行深度学习开发或高性能运算。

这些早期的精心布局,最终帮助英伟达在AIGC爆发时收获了巨大的红利。目前,他们市值高达1.22万亿美元(英特尔的近6倍)。

那么,AI时代的计算,是不是GPU一家通吃呢?我们经常听说的FPGA和ASIC,好像也是不错的计算芯片。它们的区别和优势在哪里呢?敬请期待下集:《到底什么是ASIC和FPGA?》。

参考文献:

1.《一文搞懂GPU的概念、工作原理》,开源LINUX;

2.《AI芯片架构体系综述》,知乎,GarvinLi;

3.《GPU、FPGA、ASIC加速器有什么区别?》,知乎,胡说漫谈;

THE END
1.每日车讯CarDaily的主页车家号发现车生活用流行文化解读汽车文化样本,提供冰冷机械之外的温情阅读,打造后新媒体时代的汽车精英模范读本。 全部文章视频车单音频 上汽大众破局之路,从行业开拓者到转型领跑者 40年前,桑塔纳开启了上汽大众的传奇时代。作为中国第一家合资车企,上汽大众不仅将德国工业技术带到中国,更帮助中国制造业建立了现代化的产业链。40年后https://chejiahao.autohome.com.cn/Authors/27031885
2.银河E5价格正式发布:430km低配:10.98万来自电动前线#吉利银河E5价格##安全是最大的吉利##吉利银河E5全球上市# R电动前线的微博投票 你认为吉利银河E5的稳态销量是多少? 5000以下 75人 汽车博主 ü 简介: 专注于智能电动汽车的行业观察者 更多a 微博精彩 热门微博热门话题 微博会员微相册 微游戏微指数 手机玩微博 扫码下载,更多版本戳https://weibo.com/7917034182/OqBbUiihd
3.前线汽车界爱车更懂车,汽车资讯分享https://www.163.com/dy/media/T1627459814351.html
4.汽车产业前线观察小鹏P7+已经上市数天,从订单表现来看,目前已有超3万个大定,成为小鹏史上积累订单速度最快的车型,超过了前不久上市的MONA M03。本文今天给大家分享一下这款车的前线信息,看看有哪些值得关注的点。 资讯2024-11-12 东风旗下猛士科技与华为达成战略合作 共建智能汽车产业生态 https://so.yiche.com/qiche/%E6%B1%BD%E8%BD%A6%E4%BA%A7%E4%B8%9A%E5%89%8D%E7%BA%BF%E8%A7%82%E5%AF%9F/4.html
5.汽车前线gai.qc188.com关键词 汽车行情,汽车资讯,新车导购 网站描述 汽车前线主要为车友们发布最新汽车行情、汽车资讯、汽车导购、汽车价格信息、车市快讯、汽车配件评测、汽车业界动态等信息。得分 1 国内总榜 152323 北京 18399 生活服务 61596 网站详细 汽车前线致力于提供更准确更及时的汽车行情新闻及一线购车资讯。汽车https://top.aizhan.com/1800003.html
6.华都汽车音响前线0971这是关于 华都汽车音响前线 的114电话名录信息,包括单位名称、地区、地址、电话、邮编以及产品等详细信息。 基本信息 名称: 华都汽车音响前线 省份: 青海省 地市: 西宁市 区县: 西宁市辖区 地址: 胜利路9号 邮编: 810000 ? 联系方式 类型: 汽车美容 产品: 汽车影院、名牌VCD、CD、防盗https://114.mingluji.com/minglu/%E5%8D%8E%E9%83%BD%E6%B1%BD%E8%BD%A6%E9%9F%B3%E5%93%8D%E5%89%8D%E7%BA%BF_0
7.武汉前线汽车陪练武汉汽车陪驾一对一学车练车公司公司名称:武汉驾驶前线汽车服务有限公司 [企业宗旨] 品牌服务,信誉保障。 [企业口号] 服务创佳绩,營理出效益。 [企业质量] 以人为本,尽职尽责。 [企业服务] 热心,耐心,细心,诚心。 如果您有以下情况: 1、有驾照不敢上路(N年没有摸过车) 2、无法自提新买的爱车 https://www.jsypj.com/rrhpz
8.分享好文的公号推荐,总有适合你的那一个「汽车最前线」分享汽车改装、精彩视频和实用技巧。 微信号:CarFront 长按上图,弹出“识别二维码”后关注 设计类 设计的那些事 「设计的那些事」分享精选的设计相关文章、案例和行业动态。同时,也会不定期推荐设计教程、高薪职位和设计相关的优秀工具。 http://inews.ifeng.com/mip/48167566/news.shtml
9.《往日不再》前线汽车旅馆保险箱的密码位置在哪密码位置分享导读《往日不再》游戏中玩家遇到前线汽车旅馆保险箱不知道密码在哪里,打不开保险箱。保险箱里面有用什么东西呢?下面将给大家带来《往日不再》前线汽车旅馆保险箱的密码位置,希望对大家有所帮助。 前线汽车旅馆 《往日不再》游戏中玩家遇到前线汽车旅馆保险箱不知道密码在哪里,打不开保险箱。保险箱里面有用什么东https://www.9game.cn/news/3124011.html
10.问界新M7Plus山西高速事故后,问界汽车回应四大技术疑点最前线5月6日,问界汽车发布一则说明,回应4月26日的一辆问界新M7 Plus在山西省侯平高速路段的交通事故后,四个引发网友关注的技术问题,分别是AEB功能、车辆起火原因、安全气囊是否打开、车门能否打开。 针对AEB(自动紧急制动)功能,问界汽车表示,事故车辆在碰撞发生前制动系统正常,根据后台数据分析,事故发生前5分钟内有2次https://36kr.com/p/2765229732330500
11.[南宁市车前线汽车美容中心]详细地址,位置示意图,地图位置,交通南宁市车前线汽车美容中心,电话:077113878846137,地址位于中国广西南宁市江南区南宁市江南区锦绣路32号,靠近常乐二街、常乐一街、银海大道西三里和银象立交桥。在公共交通方面,附近设有多个公交站,包括五象银海路口、朋展那洪路口、经开区第一小学、国凯路小学等,可以换乘K7路[区间]、K7路、K96路、86路等多条公交https://m.city8.com/nn/zhuanyejigou/22517130_TTTN
12.ETF最前线国泰中证800汽车与零部件ETF(516110)早盘收平,芯片南方财经11月8日电,南财金融终端显示,今日芯片概念主题走强,截至午间收盘(下同)上涨1.88%。 持有芯片概念主题股票的国泰中证800汽车与零部件ETF(516110)早盘收平,最新价报1.268元。截至上个交易日(11月7日),该基金近五个交易日净值(复权单位净值,下同)上涨3.85%,近一个月净值上涨1.5%。该基金自(20210407)成立https://m.21jingji.com/timeline/f714f30972323b5587bffb983d1f40e3.html