据安谋科技统计，过去一年中国有60个用到了NPU的芯片项目，而其中55%的都是选择了自研NPU。自研NPU也就意味着软件工具链也都各有所不同，因此在AI应用的推理侧，有着非常严重的碎片化的现象。为了解决这种NPU硬件碎片化问题，加速NPU生态发展，安谋科技近日发布了其最新的”周易“X2NPU产品。凭借着可拓展的算力架构、自定义的算子、大模型优化架构以及开放的Compass软件平台，“周易”X2NPU不是为了单独解决某一个问题、或者某一个应用痛点而来，而是为了解决全行业的端侧AI推理难题，助力AI走入通用应用层面。
据悉，“周易”X2NPU是基于安谋科技最新的“周易”V3架构指令集，相比前代产品有了非常多的性能提升。首先是在算力上，能够支持实现320TOPS的子系统的算力。第二是通过i-Tiling技术，大幅减少带宽需求，进一步提升计算效率，从而大幅降低系统的成本。第三是实时任务调度，通过专门的硬件加速调度器来做实时的任务调度和管理，从而满足汽车等高实时性的应用场景。第四是支持混合精度计算，包括定点计算、整数型计算和浮点计算，并且可以很好地平衡整体功耗、计算密度和计算精度。第五是专门优化的Transformer性能，针对图像处理等进行了专门的优化。第六是增加了无损的权重压缩的技术，实现了带宽的节省。第七是针对手持电池供电设备进行了低功耗优化，在7nm节点能够做到10TOPS/w的能效。第八是针对手机拍照中的AI降噪、视频超分插帧等进行了专门的优化。
据安谋科技执行副总裁、产品研发负责人刘澍介绍，“周易”X2NPU第一个瞄准的是汽车市场。而在此次发布会上，安谋科技也展示了一个面向汽车场景的320TOPS参考方案。在一个子系统中集成了四个Cluster，每个Cluster中集成了4个核和ClusterManagement。
与国际上比较通用的汽车SoC对比，在跑Swin-Transformer，采用相似的MAC数量的前提下，“周易”X2可以实现最高260%的性能优势。除了一些MAC配置比较重的算子外，安谋科技还针对了Softmax、instanceNormalization、LayerNormalization、Slice、矩阵运算等都进行了合理优化，才能达到这个实测结果。
而针对移动端场景，安谋科技展示了一个对标业界旗舰手机的30TOPS方案，在一个X2Cluster中集成了三个核，提供了AI降噪、视频超分等专门的优化。在与其他旗舰SoC的对比中，“周易”X2SoC可以实现同样的精度水平，但在MobileNet、UNET、YOLO等典型网络中能提供更好的性能优势。
而除了上述展示的分别汽车和移动端这两大类应用场景的子系统外，刘澍还表示“周易”X2NPU可以满足更高算力的边缘服务器类的应用需求，未来还会推动针对新兴领域的高性能子系统开发，希望把“周易”X系列NPU推向更多大算力的领域，不断地发展。
为什么“周易”X2NPU有这么好的弹性，能够实现从几十TOPS到几百TOPS的算力拓展，而且还都兼顾了很好的能效比？这背后的奥秘就来自其最新的第三代“周易”架构，以及与Compass软件平台的紧密耦合。
“周易”X2NPU的计算核心分为两个大的部件，一个是可编程、灵活的单元，采用了VLIN架构，负责通用向量处理；另一个是专门负责Tensor处理的、集合了多种高不同种类算子的加速单元；两者有机地结合在一起构成了一个基本的NPU核，多个NPU的核可以进一步组成Cluster，多个Cluster进一步还可以继续拓展。
一个Cluster中的拓展除了两部分计算单元外，还需要高带宽的内部NoC、Debug单元、电源管理单元以及内部的Memory，构成一个计算的Cluster。TSM（TaskSchedulingManager）是一个关键部件，可以将计算任务调度到合适的核或Cluster上。
另一个优势在于，“周易”架构能做到高效能AI固定运算和灵活编程要求的有效平衡。安谋科技开发了很多高效能的NN算子，可供客户直接调用；而且提供了很多可重配置的结构单元，来适配客户的更多新算子。还开发了专门的NNCompiler，整合了i-Tiling的技术节省带宽。从底层软件、到中间部件，包括runtime、IDE、Simulator等都在“周易”Compass软件平台上实现了整合，而且安谋科技还提供了界面友好的OpenCLCompiler，通过一次编程个就可以将多类运算单元整合起来。在顶层，安谋科技定义了一套套CompassIR的公开标准接口，将IR直接对接到上层神经网络或底层硬件。此外，“周易”V3架构中还有一个核心部件是量化部件，可以把各种浮点的原始模型量化到合适精度，在NPU上进行最高效的运行。
据安谋科技NPU研发高级总监孙锦鸿介绍，“周易”架构已经发展到第三代，设计思路上遵行“并行”和“可拓展性”，在同构和异构的单元中得到统一。整个“周易”NPU的设计核心思想在指令和数据处理单元的同构计算里做到了最大并行。如果在异构上，可以把数据的Channel和Batch、甚至异构算子做成并行，在同构和异构的单元里得到统一。在此基础上扩展的核和Cluster，通过不同颗粒度的并行性来体现到整个“周易”架构的强扩展性。虽然“周易”V3架构的扩展维度很多样，但都可以通过统一的OpenCL界面把不同扩展性的计算单元，不同的核通过统一的编程方式进行统一编程，提供较好用户体验。
在“周易”V3架构上，提供了专门针对图优化的策略，结合Transpose合成，通过相同/类似算子融合，可以大大减少处理流水线，从而减少带宽，提高运算效率。在发布会现场展示了一个车载的处理模型，通过“周易”Compass软件平台：做了8bit的量化，再做了图优化，之后再放到IP里面运行，最后实时输出分割后原生的图像结果。这一模型的运算复杂度比传统CNN模型更为复杂，同时精度上也会更好。
孙锦鸿表示，“周易”V3架构的研发的最难点在于如何把易用性、可编程性或最有效地把软件迁移到“周易”的产品上，做到软硬件的平衡。要实现这一难题，安谋科技在“周易”架构上提供了支持统一编程的OpenCL界面、Primitive（原语）方法实现高效算子整合、支持TVM的统一框架实现与CPU、GPU的异构联动，从而让其最终得以实现如此好的软硬件协同。
NPU的软件移植流程通常包括以下几个步骤：浮点模型训练好之后，要针对硬件进行定点的量化，最终变成可执行的代码；代码还需要在软件仿真平台和硬件开发板上进行测试，最终部署到硬件上。在这个开发的过程中，越是以算法和数据为核心的合作伙伴，越有强烈的软件工具链白盒的诉求。
此前Arm就围绕着CPUIP进行了一些开源项目的尝试，而此次安谋科技的“周易”软件开源计划，是其整个生态伙伴计划的重要组成部分。据悉，安谋科技的全部自研产品，包括“周易”NPU、“山海”SPU、“星辰”CPU、“玲珑”ISP、VPU等都可以提供给生态伙伴，透过TVM的设计和Compass平台，就能让“周易”NPU跟Arm其他CPU、GPU结合起来，形成合理的异构运算调度。而且这个合作伙伴的定义不仅局限于芯片设计客户，也包括上下游所有的参与者。譬如汽车应用而言，包括OEM、Tier1、Tier2、软件开发者和创新设备商等都属于生态参与者的一部分。
结语
随着ChatGPT的兴起，大模型让AI走入通用应用，AI将会成为一种基础的计算支持，成为赋能各种应用升级的沃土。而大模型、多模态输入等对于算力的要求越来越高，走入通用后的端侧的硬件碎片化问题，都是当下端侧NPU发展的挑战。安谋科技的“周易”X2NPU推出，有望解决这一挑战，并且真正实现NPU生态的繁荣。
刘澍表示，安谋科技将一直坚持“本土创新、全球标准”的理念，不断完善自研产品矩阵，和ArmIP形成优势互补，通过这样的方式满足本土客户需求，发挥本土资源能力，支持产业繁荣发展。
作者：刘岩轩
9月2日消息，不造车的华为或将催生出更大的独角兽公司，随着阿维塔和赛力斯的入局，华为引望愈发显得引人瞩目。
加利福尼亚州圣克拉拉县2024年8月30日/美通社/--数字化转型技术解决方案公司Trianz今天宣布，该公司与AmazonWebServices（AWS）签订了...
伦敦2024年8月29日/美通社/--英国汽车技术公司SODA.Auto推出其旗舰产品SODAV，这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具，可用于创建软件定义汽车。SODAV工具的开发耗时1.5...
北京2024年8月28日/美通社/--越来越多用户希望企业业务能7×24不间断运行，同时企业却面临越来越多业务中断的风险，如企业系统复杂性的增加，频繁的功能更新和发布等。如何确保业务连续性，提升韧性，成...
8月30日消息，据媒体报道，腾讯和网易近期正在缩减他们对日本游戏市场的投资。
8月28日消息，今天上午，2024中国国际大数据产业博览会开幕式在贵阳举行，华为董事、质量流程IT总裁陶景文发表了演讲。
8月28日消息，在2024中国国际大数据产业博览会上，华为常务董事、华为云CEO张平安发表演讲称，数字世界的话语权最终是由生态的繁荣决定的。
要点：有效应对环境变化，经营业绩稳中有升落实提质增效举措，毛利润率延续升势战略布局成效显著，战新业务引领增长以科技创新为引领，提升企业核心竞争力坚持高质量发展策略，塑强核心竞争优势...
北京2024年8月27日/美通社/--8月21日，由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。活动现场NVI技术创新联...
北京2024年8月27日/美通社/--在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上，软通动力信息技术（集团）股份有限公司（以下简称"软通动力"）与长三角投资（上海）有限...
山海路引岚悦新程三亚2024年8月27日/美通社/--近日，海南地区六家凯悦系酒店与中国高端新能源车企岚图汽车（VOYAH）正式达成战略合作协议。这一合作标志着两大品牌在高端出行体验和环保理念上的深度融合，将...
上海2024年8月28日/美通社/--8月26日至8月28日，AHNLAN安岚与股神巴菲特的孙女妮可巴菲特共同开启了一场自然和艺术的疗愈之旅。妮可·巴菲特在疗愈之旅活动现场合影...
8月29日消息，近日，华为董事、质量流程IT总裁陶景文在中国国际大数据产业博览会开幕式上表示，中国科技企业不应怕美国对其封锁。
上海2024年8月26日/美通社/--近日，全球领先的消费者研究与零售监测公司尼尔森IQ（NielsenIQ）迎来进入中国市场四十周年的重要里程碑，正式翻开在华发展新篇章。自改革开放以来，中国市场不断展现出前所未有...
上海2024年8月26日/美通社/--今日，高端全合成润滑油品牌美孚1号携手品牌体验官周冠宇，开启全新旅程，助力广大车主通过驾驶去探索更广阔的世界。在全新发布的品牌视频中，周冠宇及不同背景的消费者表达了对驾驶的热爱...
此次发布标志着Cision首次为亚太市场量身定制全方位的媒体监测服务。芝加哥2024年8月27日/美通社/--消费者和媒体情报、互动及传播解决方案的全球领导者Cis...
上海2024年8月27日/美通社/--近来，具有强大学习、理解和多模态处理能力的大模型迅猛发展，正在给人类的生产、生活带来革命性的变化。在这一变革浪潮中，物联网成为了大模型技术发挥作用的重要阵地。作为全球领先的...
北京2024年8月27日/美通社/--高途教育科技公司（纽约证券交易所股票代码：GOTU）（"高途"或"公司"），一家技术驱动的在线直播大班培训机构，今日发布截至2024年6月30日第二季度未经审计财务报告。2...
8月26日消息，华为公司最近正式启动了“华为AI百校计划”，向国内高校提供基于昇腾云服务的AI计算资源。