新闻

Gartner近期发布的2024年CIO和技术高管调研显示，超过60%的中国企业计划在未来12至24个月内部署生成式人工智能（GenAI）。由于中国企业倾向于在本地而非通过公有云部署GenAI，目前的基础设施环境无法支持GenAl项目，这将推动中国企业数据中心的设计转型。

Gartner研究总监张吟铃表示：“由于安全和数据隐私方面的担忧以及监管要求，一些企业更倾向于在本地部署GenAl解决方案或微调大语言模型（LLM）。在本地部署GenAl对于数据中心来说并不仅仅是一个简单的托管需求，而是可能改变企业数据中心的战略，因为模型训练需要大规模的GPU集群。”

Gartner定义了五种GenAl部署方法（见图1）。根据企业选择的GenAI部署方法，中国的首席信息官（CIO）及基础设施和运营（I&O）领导者需要了解GenAI部署的影响以及如何采取行动。

中国的CIO及I&O领导者须为应对这一技术对数据中心的影响做好准备。

本地部署GenAI将迫使I&O领导者改变托管环境的设计方式

部署GenAI对数据中心的影响取决于所运行的工作负载类型，因为某些GenAI工作负载需要使用高端图形处理器（GPU）。由于中国市场上的高端GPU供应有限，I&O领导者要在本地部署GenAI就需要改变托管环境的设计方式。

I&O领导者无法独自解决供应短缺问题，必须与业务、AI工程师和职能团队合作应对这一挑战。

张吟铃表示：“为GenAl的部署准备基础设施资源的中国CIO及I&O领导者应该主动与业务及相关团队合作，预测不同工作负载对数据中心的成本和时间表的影响，从而为GenAl的部署制定数据中心宏观战略。如果训练模型需要高端GPU集群，则需要通过平衡成本、风险和机遇（如购买替代硬件或租赁GPU资源），充分了解各类托管方案。”

部署大规模GPU集群需要改造并升级数据中心基础设施和设备

从零开始构建基础模型或微调模型需要部署大规模GPU集群，这将对现有数据中心带来颠覆。因为GenAI模型的训练需要高吞吐量、低延迟和无损的基础设施。为了支持此类高性能计算集群，必须对网络、存储、电力供应和冷却系统进行升级。在某些情况下，需要对现有设施进行改造，以承载升级后的基础设施（见图2）。

张吟铃表示：“中国CIO及I&O领导者需要与数据科学家和工程师合作，明确GPU集群规模和GenAI性能要求，从而确定网络和存储等方面的基础设施要求。同时，也需要分析电力需求、冷却效率、机架、空间等，确定现有数据中心环境在部署大型GPU集群方面存在的差距。平衡时间和成本，选择最适合的数据中心改造方案。”