应用分享丨光交换在云计算和HPC基础设施解耦应用-仪器网

应用分享丨光交换在云计算和HPC基础设施解耦应用

来源：凌云光技术股份有限公司分类：应用方案 2024-09-27 18:00:09 2阅读次数

随着人工智能等应用进入商业主流，云计算和高性能计算（HPC）服务提供商面临巨大压力，需扩展计算平台以满足不断增长的性能需求。同时，在环境压力和电力需求激增的双重挑战下，这些供应商需探索控制资本支出（CAPEX）和降低能耗的策略。大语言模型训练、医学图像处理等应用推动了对高性能云计算网络的新要求，进而促使GPU等加速器在集群中广泛应用。

传统云计算/HPC平台中，CPU、内存、GPU等被紧密捆绑，资源分配固定，难以灵活调整，导致资源浪费和效率低下。添加更多服务器不仅增加成本，还提升能耗。而“解耦”技术提供了一种新途径，通过实现关键组件的灵活分离与重组，优化资源配置，降低成本和能耗，为构建灵活计算基础设施提供了可能。

解耦计算平台概述：实现灵活资源配置

随着技术的演进，传统的服务器结构正逐步被解耦计算平台所取代。这些平台按需将资源以特定比例捆绑成“裸金属”硬件主机，实现灵活配置。这一过程可视为“硬件虚拟化”，允许多个物理主机在需要时动态组合，通过专门的编排功能控制，共享底层资源池。这些平台支持单一或多租户使用，通过“软件虚拟化”或云技术提供虚拟机（VM）服务。

关键构建块包括CPU、内存、存储及加速硬件如GPU和FPGA，用于支持高性能或通用云计算应用。在上图中，"Composed Machine #1" 是基于四个CPU单元构建的，这些CPU单元来自资源池中的"Server #1"和"Server #2"，以及四个RAM单元，只从"Server #1"获取。在"Server #1"中，有两个GPU资源单元，如果在非分解平台上，这些资源将会被浪费和未使用，但在这种情况下，它们被用来提供"Composed Machine #2" 所需的一半GPU资源，另一半来自"Server #2"。

解耦实现的效率和性能优化取决于可以访问和消耗资源块的粒度。在最细粒度下，每个资源块都具备板载硬件以实现高速、低延迟的连接。这虽需新的硬件设计，但提供了最大灵活性。同时，也存在较粗粒度的解耦形式，与当前硬件更兼容，可作为向完全解耦平台过渡的桥梁。

在解耦计算平台中，选择合适的互连网络技术对系统性能和能耗至关重要。常见的互连形式有分组交换和线路交换。线路交换提供确定性、电路交换和固定带宽的数据路径，特别适用于那些原本在服务器主板上低级直接连接的硬件资源，或通过特定总线技术（如PCI Express）连接的硬件资源。

光互连网络技术的核心优势

使用光电路交换技术构建的全光互连网络，也称为全光交换，能够满足确定性和高容量端到端数据路径的需求。光互连网络的优势包括：

1. 降低功耗：与电互连相比，光互连结构的功耗显著降低。

2. 降低时延：光传输路径的时延更低。

3. 易于扩展和升级：光互连网络物理扩展和升级能力更强。

4. 透明性和兼容性：对解耦资源间的串行数据流量格式和线路速率具有固有透明性，支持未来平滑升级。

在光链路通过交换网络时，最小化或消除前向纠错（FEC）对于减少端到端延迟至关重要。这要求光交换技术具有尽可能低的损耗，以确保最佳的误码率性能。

光电路交换技术的可扩展性源于可以使用低损耗的光路交换机构建多级交换网络，从而支持大量终端。例如，POLATIS DirectLight?交换机允许构建四个或更多级别的交换网络，而不会超出典型收发器的光学损耗预算。这使得光交换结构可以按需增长，在初期采用少量OCS进行架构设计和构建，用户可以根据实际需求逐步扩展OCS规模，降低初期投入成本。