大型语言模型正在迅猛发展，其参数数量每隔几个月就会翻倍，复杂度以指数级速度在增长。ChatGPT-4拥有超过一万亿个参数，相当于2万亿字节，或20万张高分辨率照片，甚至50万份文档。要快速处理和分析如此海量的数据，必须依赖高效、可靠的数据传输通道。如果数据传输出现瓶颈，无论多复杂的大型语言模型算法、多强大的加速器/处理器都无济于事。
显然，现有的数据中心基础设施已难以满足这一需求，数据传输延迟的瓶颈成为了制约AI发展的“拦路虎”，于是PCIe7.0应运而生。作为PCIExpress标准的最新版本，PCIe7.0提供了高达512GB/s的带宽和超低延迟，能够应对AI工作负载中大规模并行计算的需求，帮助缓解数据传输中的瓶颈问题。
为了推动这一技术的应用，新思科技最近推出了全球首个完整的PCIe7.0IP解决方案，确保数据安全传输，并大幅提升下一代AI和高性能计算（HPC）芯片的带宽。
PCIe7.0：AI时代的“高速公路”
如前文所说，一方面随着AI模型复杂性的攀升，对计算资源的需求呈指数级增长，另一方面，AI训练和推理过程通常涉及多个加速器与中央处理器协同工作，要求系统具备强大的互联能力。据了解，当前最先进的架构，单个计算单元内可能需要连接多达1024个加速器。如此大规模的加速器之间需要一个能够支持加载/存储架构的互连系统，以确保高效的处理器能够管理和处理海量的数据包。
互联将是扩展数据中心AI集群的关键。虽然如今，各大芯片公司开始研发各自的互联技术，例如NVIDIA的NVLink、AMD的InfinityFabric以及以太网互联，但是截至目前，PCIe仍然是服务器机架中的首选接口，它们通过铜缆或背板将资源连接在一起。随着PCIe6.0以上的部署以及PCIeGen7.0规范即将获得批准，PCIe将继续成为高速互连的关键参与者。
PCI-SIG已向其成员提供了PCIe7.0规范(v0.5)，并预计完整规范将于2025年某个时候正式发布（图源：PCI-SIG）
PCIe7.0不仅为连接多个加速器提供了必要的高带宽和加载/存储能力，还为处理器提供了所需的以太网带宽，使其能够与兼容1.6Tbps以太网链路的网络接口卡连接。最重要的是，PCIe7.0还可以通过完整性和数据加密(IDE)协议支持增强的数据安全性，为事务层数据包(TLP)和流控制单元(FLIT)提供机密性、完整性和重放保护。
PCIe链路上数据通信的完整堆栈
（图源：新思科技）
在AI/ML的扩展应用中，PCIe7.0提供了用于网络结构、AI/ML扩展结构和扩展结构的互连解决方案，支持包括处理器、闪存控制器、网络接口卡、加速器、PCIe交换机和SSD在内的各种硬件设备。PCIe7.0将能够为AI/ML结构中的每个主要互连组件提供快速、安全的数据传输。
图源：新思科技
综上所述，PCIe7.0作为下一代互联技术，将在AI和HPC领域发挥重要作用。它不仅能够满足当前AI工作负载对计算性能和互联带宽的需求，还为未来数据中心的发展提供了坚实的基础。
新思科技推出业界首个完整的
PCIe7.0IP解决方案
作为全球领先的接口IP供应商，新思科技率先推出了完整的PCIe7.0IP解决方案。该解决方案由控制器、IDE安全模块、物理层（PHY）和验证IP组成，在x16配置下可以提供高达512GB/s的双向安全数据传输。
新思科技PCIe7.0IP解决方案的亮点颇多，具体而言：
新思科技PCIe7.0控制器IP可实现低延迟、高带宽链路，具有完整的端点到根复合体解决方案，支持所有必需的功能以实现向后兼容。
PHYIP提供出色的信号完整性，速度高达每通道128Gb/s，并与新思科技CXL控制器IP解决方案无缝集成。经过预先验证的PCIe7.0控制器和PHYIP可提供低延迟数据传输，与之前的版本相比，功耗降低高达50%。这对于极其耗电的数据中心而言，具有显著的经济和环境效益。
完整性和数据加密(IDE)安全IP已通过控制器IP预先验证，可提供数据机密性、完整性和重放保护，防止恶意攻击。
验证IP和硬件辅助验证解决方案提供内置协议检查和控制器和PHY的多种配置，以加速验证和确认收尾。
广泛的生态系统互操作性，新思科技PCIe7.0IP生态系统已与多家合作伙伴在PCI-SIGDevCon2024上进行了互操作演示，包括KeysightTechnologies、Samtec和TeledyneLeCroy。
新思科技PCIe7.0验证IP现已上市，具有IDE安全性和用于先进工艺的PHYIP的PCIe7.0控制器也将于2025年初全面上市。目前，新思科技PCIe7.0IP解决方案已经得到英特尔、AsteraLabs、PCIe重定时器供应商——Enfabrica、Kandou，交换机供应商——XConn，基于RISC-V的AI芯片公司——Rivos、Microchip等全球领先公司的青睐和认可。
PCIe7.0有望提供支持下一波AI进步所需的性能、可扩展性和安全性，使设计能够满足AI工作负载日益增长的需求和复杂性。可以说，越早拥抱PCIe7.0，越早获益。
光学PCIe冉冉升起
随着数据速率的不断提升和电气损耗的增加，传统铜缆PCIe在应对当今高性能计算和AI负载时逐渐显得力不从心，PCIeoverOptical（光纤传输的PCIe）在实现高效、高速数据传输方面的作用将变得越来越重要。
与传统的电气链路相比，光学链路能够提供更高的带宽密度。当前基于铜缆的PCIe架构只允许访问本地内存，这在处理大规模数据时遇到了瓶颈。而光纤技术通过使处理单元能够访问更多分布在不同服务器单元或机架中的内存单元，有效地解决了这一限制。这一特性特别适合通过CXL交换机进行资源池化和共享，使数据中心能够更高效地利用资源。
除此之外，在长距离的能源效率和成本效益方面，光链路也更胜一筹。与电链路相比，光链路的损耗要小得多，这意味着在相同距离上，它们需要的重定时器和信号调节单元更少。此外，使用低成本、高产量的光学元件可以进一步降低单位距离的成本。另一方面，铜互连占用了数据中心的大量空间，不适合密集的数据中心。相比之下，光纤更灵活，占用空间更少，使其成为增加数据中心密度的更好选择。
为了能够推动光学PCIe接口，2023年8月，PCI-SIG成立一个光学新工作组，通过光学连接提供PCIe技术，推动“光学友好型”PCIe标准的发展。一旦建立了通用标准，任何光子芯片供应商都将能够集成PCIe。
但是，要启用光学PCIe接口需要克服一些设计挑战。最初，PCIe接口并未考虑光学兼容性，因此从电气通道向光学通道的过渡并不简单。一个主要挑战是确保符合PCIe的电气标准，同时保持向后兼容性。此外，支持光纤上的PCIe协议可能需要对现有协议进行调整，如Rx检测、电气空闲状态管理、SSC时钟性能及边带信号处理等方面的优化。
除了拓扑结构外，还需考虑外形标准化和FEC（前向纠错）方案。目前正在评估多种外形标准，如CDFP、OSFP、QSFP、QSFPDD等，并分析其优缺点。FEC方案同样重要，使用级联FEC架构可以放宽光学PMD要求，同时提供低延迟。
光学PCIe更大的挑战是管理物理层和电光接口的互操作性。作为PCIeIP领域的领导者，新思科技积极参与PCI-SIG光学工作组讨论，旨在应对PCIe光学技术采用方面的挑战。
基于光纤的PCIe代表了信号传输的未来。光纤PCIe的广泛应用离不开一个完善的生态系统。新思科技正积极携手生态伙伴推动光学PCIe技术的成熟和普及。在OFC2024期间，新思科技和OpenLight展示了世界上首个采用线性驱动方法的PCIe7.0光纤数据速率演示，同时展示了PCIe6.x光纤演示。该演示展示了端到端链路BER性能比FEC阈值高出几个数量级，展示了以128GbpsPAM4运行的PCIe7.0光纤的可行性。这一性能是使用分立电气和光学元件构建PCIe光纤链路实现的。
PCIe7.0/6.0光纤数据速率演示
总的来说，新思科技PCIe7.0IP的出现，为AI技术的发展按下了加速键。如今，在接口IP领域，新思科技可以为高性能计算SoC设计提供业界最广泛的高速接口IP产品组合，包括用于PCIe7.0、1.6T/800G以太网、CXL和HBM的完整、安全IP解决方案，凭借全面的高速接口IP解决方案，新思科技正引领高性能计算SoC设计进入全新的AI时代。