大模型 “内卷” 背后：AI 算力瓶颈如何突破？

大模型 “内卷” 现状剖析​

在科技飞速发展的当下，大模型领域已然成为了一片竞争激烈的 “红海”，呈现出愈演愈烈的 “内卷” 态势。众多企业纷纷敏锐地捕捉到这一领域的巨大潜力，蜂拥而入，试图在这片充满机遇的市场中分得一杯羹。从互联网巨头到新兴的科技创业公司，都将大模型视为未来发展的战略制高点，投入大量的人力、物力和财力进行研发与布局。​

随着技术的不断进步和竞争的加剧，模型参数不断攀升，成为了这场 “内卷” 竞争中的一个显著特征。以 GPT-3 为例，其拥有 1750 亿参数，而后续的一些模型更是朝着万亿参数的方向迈进。这些不断膨胀的参数规模，旨在提升模型的语言理解、生成和泛化能力，以实现更加精准和智能的交互。更多的参数意味着模型能够学习到更复杂的语言模式和语义信息，从而在处理各种自然语言任务时表现得更加出色。​

除了参数规模的竞赛，模型的性能和应用场景也成为了竞争的焦点。各大企业都在努力提升模型的准确性、效率和稳定性，以满足不同行业和用户的需求。在自然语言处理领域，模型被广泛应用于智能客服、文本生成、机器翻译等场景；在图像识别领域，模型能够实现图像分类、目标检测、图像生成等功能。企业通过不断优化模型的性能，提高其在这些应用场景中的表现，从而吸引更多的用户和客户。​

大模型的开源与闭源策略也在这场竞争中发挥着重要作用。开源大模型如 Meta 的 Llama 系列，吸引了全球开发者的参与和贡献，通过群体智慧不断优化和创新。开发者可以自由获取代码，根据自身需求进行定制和扩展，从而推动了大模型技术的快速传播和应用。而闭源大模型如 OpenAI 的 GPT 系列，则凭借其严格保密的核心代码和专业团队的精心打造，保障了模型的稳定性和高性能。闭源模型通常通过付费 API 或企业级解决方案盈利，为企业提供了商业化的途径。​

在这场激烈的 “内卷” 竞争中，算力瓶颈逐渐成为了制约大模型发展的关键因素。随着模型规模的不断扩大和应用场景的日益复杂，对算力的需求呈指数级增长。训练一个大规模的模型需要消耗大量的计算资源和时间，这对于企业的算力基础设施提出了极高的挑战。如果无法突破算力瓶颈，大模型的发展将受到严重的限制，难以实现更高水平的智能化和应用拓展。​

AI 算力瓶颈现状​

当前，AI 算力在实际应用中面临着诸多困境，这些困境严重制约了大模型的发展，成为了人工智能领域进一步前行的绊脚石。​

训练时间长是一个突出问题。随着大模型参数规模的不断膨胀，训练所需的时间呈指数级增长。以 GPT-3 为例，其训练需要消耗大量的计算资源和时间，动用数千块 GPU 芯片，历经数月的时间才得以完成训练。而一些参数规模更大的模型，训练时间更是漫长。如此长的训练周期，不仅增加了研发成本，还使得模型的迭代优化速度缓慢，难以快速响应市场和技术的变化。这就好比建造一座摩天大楼，每增加一层，建造的难度和时间都大幅增加，而大模型的训练就像是在不断建造更高的 “知识大厦”，对算力的需求和时间的消耗也在不断攀升。​

训练成本高也是 AI 算力瓶颈的一个关键体现。AI 模型的训练需要大量的高性能计算设备，如 GPU 集群，这些设备不仅购置成本高昂，运行和维护所需的电力、人力等成本也不容小觑。OpenAI 为了训练其大模型，每年在算力方面的投入高达数十亿美元，这对于大多数企业和研究机构来说，是难以承受的巨大开支。此外，随着模型规模的增大，对算力的需求呈指数级增长，导致训练成本进一步飙升。这使得许多有创新想法的团队因缺乏足够的资金来支撑算力需求，而无法开展大规模的模型训练和研究工作，限制了大模型技术的广泛应用和创新发展。​

在推理阶段，AI 算力同样面临着严峻的挑战，推理速度受限就是其中之一。在实际应用中，如智能客服、实时翻译等场景，对模型的推理速度有着较高的要求。然而，当前的算力水平难以满足这些实时性需求，导致推理延迟较高。在智能客服系统中，用户提出问题后，需要等待较长时间才能得到回复，这极大地影响了用户体验，降低了系统的实用性和效率。这就像在一场紧张的体育比赛中，运动员的反应速度慢了半拍，就可能错失良机，而 AI 模型在推理速度上的不足，也会使其在实际应用中难以发挥出应有的作用。​

除了上述问题，算力的能耗问题也日益凸显。大规模的计算需要消耗大量的电力资源，这不仅增加了运营成本，还对环境造成了较大的压力。数据中心作为算力的主要承载场所，其能源消耗已经成为一个全球性的问题。一些超大型的数据中心，每年的耗电量甚至相当于一个中等规模城市的用电量。在能源日益紧张和环保要求越来越高的背景下，这种高能耗的算力模式难以为继，迫切需要寻找更加节能高效的解决方案。​

算力瓶颈产生的原因​

（一）硬件技术局限​

芯片制造工艺如今正逐渐逼近极限，成为了算力提升的一大阻碍。随着摩尔定律的放缓，芯片上可容纳的晶体管数量增长速度逐渐变缓，这使得芯片性能的提升愈发困难。在过去，芯片制造工艺遵循摩尔定律，大约每 18 - 24 个月，芯片上的晶体管数量就会翻倍，从而推动芯片性能的大幅提升。然而，当制程工艺进入到 7 纳米、5 纳米甚至更先进的制程时，面临着诸多物理和技术难题。量子隧穿效应等量子力学现象开始对芯片性能产生显著影响，导致漏电增加、功耗上升等问题，严重制约了芯片性能的进一步提升。此外，光刻技术的发展也面临瓶颈，极紫外光刻（EUV）技术虽然能够实现更小的制程，但设备成本高昂，制造难度大，限制了其广泛应用。​

存储和带宽技术发展的滞后，同样对算力提升形成了制约。在数据处理过程中，数据需要在存储设备和计算单元之间频繁传输，而存储和带宽技术的不足，使得数据传输速度成为了整个计算系统的瓶颈。内存的读写速度相对较慢，处理器在等待数据从内存中读取或写入时会出现空闲状态，从而限制了系统的性能。即使增加处理器数量和核数，也无法有效提高整体的计算能力，这种现象被称为 “内存墙” 问题。传统的机械硬盘在读写速度上远远无法满足大规模数据处理的需求，即使是固态硬盘（SSD），在面对海量数据的高速读写时，也会显得力不从心。网络带宽也存在不足，尤其是在多节点计算的情况下，数据在不同节点之间传输时，容易出现带宽瓶颈，导致数据传输延迟增加，影响计算效率。​

（二）网络互联难题​

在大规模 GPU 集群中，网络互联面临着诸多难题，这些难题对算力扩展构成了严重阻碍。网络带宽不足是一个突出问题，随着 GPU 集群规模的不断扩大，节点之间的数据传输量呈指数级增长，现有的网络带宽难以满足这种高速、大量的数据传输需求。在 AI 训练中，不同 GPU 之间需要频繁地进行数据交换，如梯度同步、参数更新等操作，这些数据交换对网络带宽要求极高。如果网络带宽不足，就会导致数据传输延迟增加，GPU 之间的协同效率降低，从而影响整个训练过程的效率。当一个拥有数千个 GPU 的集群进行大规模模型训练时，由于网络带宽限制，数据传输速度缓慢，使得 GPU 在等待数据传输的过程中处于空闲状态，造成了计算资源的极大浪费。​

延迟高也是大规模 GPU 集群网络互联中面临的一个重要问题。网络延迟会直接影响 GPU 之间的通信效率，导致计算任务的执行时间延长。在分布式计算中，不同节点之间的任务调度和协同需要依赖快速的通信，如果网络延迟过高，就会导致任务调度不均衡，部分 GPU 闲置，而部分 GPU 过度负载，从而降低了整个集群的计算效率。在流水线并行训练中，网络延迟会导致流水线气泡的产生，使得 GPU 在等待数据传输的过程中无法充分发挥计算能力，降低了训练效率。此外，网络延迟还会影响模型的收敛速度，使得训练时间大幅增加。​

通信稳定性差同样不容忽视，AI 大模型训练通常需要数千 GPU 连续运行数周，在这个过程中，任何网络异常都可能导致计算时长增加甚至无法完成任务。网络拥塞、丢包或重传等问题会破坏流水线并行节奏，使整体计算效率下降，甚至可能引发全局数据不一致，导致模型收敛失败。在一个包含多个 GPU 节点的集群中，如果某个节点的网络出现故障，导致数据丢包，那么在进行梯度同步时，就会出现数据不一致的情况，从而影响模型的训练效果，甚至可能导致训练失败。​

（三）能源与散热挑战​

AI 算力中心的高能耗和散热困难问题，不仅增加了成本，还限制了设备性能的发挥，对算力提升产生了负面影响。AI 算力中心的能耗问题日益突出，大规模的计算需要消耗大量的电力资源。随着 AI 模型规模的不断扩大和计算任务的日益复杂，算力中心的能耗呈直线上升趋势。数据中心作为 AI 算力的主要承载场所，其电力需求持续攀升。据统计，全球数据中心的能耗占比逐年增加，其中很大一部分用于 AI 训练任务。一些超大型的数据中心，每年的耗电量甚至相当于一个中等规模城市的用电量。高昂的能耗不仅增加了运营成本，还对环境造成了较大的压力，在能源日益紧张和环保要求越来越高的背景下，这种高能耗的算力模式难以为继。​

散热困难也是 AI 算力中心面临的一大挑战。高性能的 AI 芯片在运行过程中会产生大量热量，如果不能及时有效地散热，不仅会影响设备的稳定运行，还可能缩短其使用寿命，制约 AI 算力的进一步增长。未来，单颗高性能 AI 芯片的热设计功耗将突破 1000W，达到了传统风冷散热的极限。传统的风冷散热方式在面对如此高的热功率时，已经无法满足散热需求，需要采用更加先进的散热技术，如液冷技术等。然而，液冷技术的应用也面临着一些问题，如系统复杂度增加、维护成本提高等。此外，散热系统的设计还需要考虑空间布局、能源消耗等因素，进一步增加了散热的难度。​

行业内突破算力瓶颈的尝试与探索​

（一）芯片技术创新​

为了突破算力瓶颈，芯片技术领域不断进行创新，新型芯片的研发成为了重要方向。英伟达推出的 H100 芯片，便是这一领域的杰出代表。H100 芯片采用了第四代 Tensor Core 架构，实现了计算密度与能效的跨越式提升。在硬件层面，通过动态负载均衡技术，智能分配计算资源，使每个流式多处理器（SM）的运算单元利用率提升至 92%，较前代 A100 芯片提升 37%，优化了矩阵乘加运算（MMA）的并行度，指令级并行（ILP）效率达到行业领先水平。在精度支持方面，H100 引入了 FP8 浮点运算标准，在 FP8 精度下实现 1979 TOPS 的推理性能，较前代 A100 芯片的 312 TOPS 提升达 534%。新型混合精度计算单元可在保持模型精度的前提下，将数据位宽压缩至 8 位，使单个流处理器（SM）的矩阵运算吞吐量提升 6 倍。同时，通过动态范围自适应技术，在语言模型推理过程中智能匹配不同层级的计算需求，确保关键参数保持必要精度。这种技术组合不仅适用于 Transformer 架构的大规模参数处理，也为计算机视觉、推荐系统等多元 AI 负载提供了通用加速方案 。​

谷歌发布的第七代 TPU Ironwood 同样引人注目，这是一款专为 AI 推理设计的处理器，每颗 Ironwood TPU 配备了 192GB 的 7.2Tbps HBM 内存，峰值 FP8 AI 算力可达 4614TFLOP，同时支持 1.2Tbps 的 ICI 芯片间互连。其能效达到了前代 TPUv6e Trillium 的两倍，为云计算和 AI 推理领域开辟了新的优化空间。谷歌提供了 256 芯片和 9216 芯片两种规模的 Ironwood TPU Pod 配置，后者的整体 AI 算力达到了惊人的 42.5 Exaflops，满足了不同云客户对算力的需求，也为需要处理海量数据的行业提升工作效率提供了有力支持。这些新型芯片在提升能效和性能方面取得的显著进展及成果，为突破 AI 算力瓶颈提供了重要的硬件基础。​

（二）网络架构革新​

在网络架构方面，高通量以太网联盟积极进行创新，致力于解决 AI 算力网络互联的难题。随着 AI 大模型参数量的指数级增长，并行计算模式带来了海量且密集的 GPU 间数据交换需求，传统网络架构难以胜任。高通量以太网联盟从拓扑设计、协议选择、链路管理到拥塞控制等全栈层面进行体系化的技术架构创新，构建以 GPU 为核心的全新网络。​

在协议方面，联盟发布的《高通量以太网 (ETH+) 协议 (1.1)》，是在 AI 智算集群领域的重要进展。该协议在帧格式上进行了优化，实现了有效载荷比 74% 的提升，大幅提高了数据传输效率。通过深度支持链路层和物理层的重传技术，显著提升了 ETH + 以太网的语义可靠性。基于 RDMA 在网计算技术，实现了集合通信性能 30% 以上的提升，有效解决了传统以太网的问题，使得以太网能够更好地满足 AI 时代对高效、稳定、可扩展的算力网络的需求 。​

在网络拓扑设计上，联盟提出并坚持 Scale-Out 和 Scale-Up 网络融合发展的理念，基于以太网大芯片容量和光互连构建全解耦的 UPN (超性能网络) 架构解决方案。还推出了首款高通量以太网 (ETH+) 64 超节点 —— 高超柜，在整体架构设计上，定位高密高带宽高速率，支持 CPU 和 GPU 解耦和配比灵活调配，以开放架构支持高通量以太网生态的芯片和系统快速落地，关键部件选择上考虑国产化，为国产化贡献力量。通过这些创新举措，高通量以太网联盟正在构建自主可控、高性能、可扩展的智算网络基础设施，为突破 AI 算力瓶颈提供了网络层面的支持。​

（三）系统架构优化​

华为云的 CloudMatrix 384 超节点在系统架构优化方面做出了卓越的实践，为解决 AI 算力瓶颈提供了有效的方案。CloudMatrix 384 超节点首创将 384 颗昇腾 NPU 和 192 颗鲲鹏 CPU 通过全新高速网络 MatrixLink 全对等互联，形成一台超级 “AI 服务器”，算力规模 300 PFlops，成功打破跨机通信带宽性能瓶颈，实现从服务器级到矩阵级的资源供给模式转变。​

该超节点具备多项技术创新点，在 MoE 亲和架构方面，与传统架构下 MoE 模型训练易因通信延迟导致算力浪费不同，CloudMatrix 384 超节点的分布式推理平台专为 MoE 大模型而生，通过高速互联总线，实现一卡一专家高效分布式推理，大幅提升单卡的 MoE 计算和通信效率，使得众多行业客户能够基于华为云昇腾 AI 云服务部署 DeepSeek 模型并应用于多种场景。在网络方面，构建了 AI 专属高架桥，通过 MatrixLink 服务将单层网络升级为两层高速网络，一层是超节点内部的 ScaleUp 总线网络，确保超节点内 384 卡全对等高速无阻塞互联，卡间超大带宽 2.8T，纳秒级时延；另一层是跨超节点间的 ScaleOut 网络，可支持微秒级时延，资源弹性扩展，基于全局拓扑感知的智能调度算法，保障客户任务长稳运行。​

华为云还首创了 EMS 弹性内存存储，打破传统 GPU 算力与显存绑定的关键障碍，通过内存池化技术，实现显存和算力解绑。这一技术一方面可使首 Token 时延最高降幅可达 80%，另一方面当 NPU 的显存不足时，EMS 可独立扩容，还支持算力卸载，使得系统吞吐量有的场景提升 100%，大幅提升了资源利用率、性能和吞吐量。通过这些系统架构的创新，华为云 CloudMatrix 384 超节点有效解决了通信、内存等瓶颈问题，为 AI 算力的提升提供了强大的支持 。​

未来突破算力瓶颈的方向展望​

（一）新兴计算技术​

量子计算作为前沿技术的代表，为突破算力瓶颈带来了巨大的可能性。量子计算机利用量子比特进行计算，与传统计算机的比特不同，量子比特具有量子叠加和纠缠的特性。这使得量子计算机能够实现高度并行的计算，在处理某些特定问题时，展现出远超传统计算机的计算能力。在复杂的组合优化问题中，如物流配送路径规划，传统计算机需要耗费大量时间来计算各种可能路径的组合，而量子计算机凭借其强大的并行计算能力，能够快速找到最优或近似最优的路径方案，大大提高了计算效率 。在密码学领域，量子计算的发展也可能对现有加密体系产生重大影响，同时也推动了量子加密技术的研究与发展。​

光子计算同样备受关注，它利用光子来传输和处理信息，具有高速、低能耗和高并行性的显著优势。光信号的传输速度接近光速，能够极大地降低数据传输延迟，提高计算速度。光子在传输过程中几乎不产生热量，能耗极低，这对于解决当前算力中心的高能耗问题具有重要意义。光子计算还可以通过波分复用等技术，实现多任务并行计算，进一步提升计算效率。在人工智能领域，光子计算有望在深度学习模型的训练和推理中发挥重要作用，加速模型的训练过程，提高推理的实时性。​

除了量子计算和光子计算，类脑计算也是一个具有潜力的发展方向。类脑计算模仿大脑的神经元结构和工作方式，构建新型的计算系统。大脑具有高效的信息处理能力、强大的学习能力和极低的能耗，类脑计算旨在借鉴这些优势，实现更加智能、高效的计算。通过模拟神经元之间的突触连接和信号传递，类脑计算系统可以实现对复杂信息的快速处理和学习，有望在模式识别、智能机器人等领域取得突破 。​

（二）跨领域协同合作​

跨领域协同合作对于突破算力瓶颈至关重要，产学研及企业间的合作能够整合各方资源，实现优势互补。高校和科研机构在基础研究方面具有深厚的学术底蕴和专业的研究团队，能够为算力技术的创新提供理论支持和前沿技术探索。企业则具有敏锐的市场洞察力和强大的工程化能力，能够将科研成果快速转化为实际产品和应用，推向市场。通过产学研合作，高校和科研机构的研究成果可以在企业中得到应用和验证，企业的实际需求也能够反馈给高校和科研机构，引导研究方向，实现良性互动 。​

企业间的合作同样不可或缺，在算力领域，不同企业在芯片研发、网络架构、系统集成等方面具有各自的优势。通过合作，企业可以共享技术、资源和经验，共同攻克算力瓶颈。在芯片制造领域，企业可以合作研发先进的制程工艺，降低研发成本和风险；在网络架构方面，企业可以共同探索新型的网络互联技术，提高网络带宽和稳定性。企业间的合作还可以促进产业生态的完善，形成完整的产业链，提高整个产业的竞争力。​

跨领域协同合作还能够促进不同技术领域的融合创新。算力瓶颈的突破不仅仅依赖于计算技术本身的发展，还需要与材料科学、能源技术、通信技术等多个领域的协同创新。在材料科学领域，研发新型的半导体材料和散热材料，可以为芯片性能的提升和散热问题的解决提供支持；在能源技术领域，开发高效的能源存储和转换技术，能够降低算力中心的能耗，提高能源利用效率；在通信技术领域，5G、6G 等新一代通信技术的发展，将为算力网络的构建提供更高速、稳定的通信支持。通过跨领域的协同合作，整合各方资源和技术，共同攻克难题，将为突破算力瓶颈提供强大的动力，推动 AI 算力技术的持续进步和应用拓展。