过去十余年，依托全球数据、算法、算力持续突破，人工智能全面走向应用，已成为社会生产生活的支柱性技术。尽管人工智能技术成熟度正在不断提高，但目前众多企业进行人工智能应用仍然面临着AI应用部署存在困难、投入产出比不达预期等问题。

(资料图)

芯片作为算力基础设施，是推动人工智能产业发展的动力源泉，由于GPU比CPU更适合处理企业数据中心和超大规模网络中AI和机器学习所需的许多计算，数据中心对GPU的需求一直不断增长。

在算法训练推理领域，以“大模型”为代表的人工智能算法模型体现出模型参数的数量不断增加的趋势，高度复杂化的模型融入应用程序后可能带来训练、推理框架的适配难度的增加，而在交付和部署后对模型的修改也会给用户带来服务中断等问题。

为顺应AI“大模型”时代的发展，亟需解决如下技术挑战：

提升GPU资源资源率： AI大模型进入万亿参数时代，远超单GPU芯片能力，训练框架需要将训练任务分发至不同GPU分别运行，并在GPU间共享结果，大规模的GPU集群应运而生；在当前GPU算力稀缺且价格高昂的背景下，如何统一管理数据中心构建规模GPU集群并汇聚分散的GPU算力，根据大模型任务按需分配GPU算力，提升整体的GPU算力资源利用率，一直是云计算AI领域关注的技术焦点； 统一的AI算力调度平台： 近几年人工智能快速发展，各种深度学习框架不断涌现，如TensorFlow、CNTK、MXNet、PyTorch和Caffe2等，国内机构亦推出了 PaddlePaddle、MindSpore、 Seetaface、FudanNLP等；面对众多AI开源框架及组件，亟需统一的调度平台降低AI训练任务的部署复杂性、提升AI训练、推理任务效率。

UCS (On-Premises) 搭载xGPU&Volcano智能调度引擎，加速数据中心AI计算

华为云分布式云原生UCS服务，是面向分布式云场景下的新一代云原生产品，提供UCS (Huawei Cloud)、UCS (Partner Cloud)、UCS (Multi-Cloud)、UCS (On-Premises) 以及UCS (Attached Clusters) 等产品，覆盖公有云、多云、本地数据中心、边缘等分布式云场景。

其中，华为云UCS (On-Premises) 服务是在大规模分布式、高安全合规、高性能的互联网应用驱动下，产生的新一代集开发运维、发布管理为一体的云原生平台，支持将容器管理能力延展至用户数据中心，提供云上云下一致的操作体验。针对用户在本地本地数据中心AI计算的诉求，用户可通过UCS（On-Premises）提供的GPU虚拟化、AI任务管理及调度能力，轻松应对大模型时代的GPU资源利用率及统一的AI框架调度平台的技术挑战：

GPU资源利用率提升： 随着大模型爆发式发展，金融、制造、互联网等行业纷纷构建行业大模型，需要采购大量的GPU资源满足业务诉求，但是在实践调研发现，很多AI服务虽然使用GPU，但是GPU的利用率普遍不高（显存平均小于30%，GPU算力小于1%），为了充分利用紧张而宝贵的GPU资源，华为云通过GPU虚拟化、华为云云原生操作系统HCE(Huawei Cloud EulerOS）等核心技术，提供GPU的显存、算力隔离能力，促进不同的AI任务可充分使用单张GPU，充分压榨GPU的算力资源，并结合高速网络，促进AI任务队列对GPU资源的充分共享，提升IDC的整体GPU资源利用率； 统一的AI算力调度平台： 结合华为云智能调度引擎volcano、智能洞察引擎等能力，快速构建云原生AI基础设施平台，支持Tensorflow、Pytorch、MxNet、MindSpore等通用AI训练、推理框架及丰富的AI调度策略，提升分布式训练的能力，同时基于云原生技术的开发集成及部署，结合底层硬件基础设施，构建“应用+资源”感知调度能力，促进AI应用及核心业务应用的共同运行，帮助企业敏捷、高效、安全地利用数据进行大模型应用开发，并在应用部署过程中实现成本优化和灵活的版本控制。

华为云xGPU技术，原生兼容AI容器应用，实现GPU算显隔离、故障隔离

为了在容器场景下充分使用GPU资源，解决上述提到的算力隔离、显存隔离、故障隔离，华为云在HCE（Huawei Cloud EulerOS）内核基础上研发了xGPU技术，针对人工智能场景，实现多个AI容器共用一张显卡，同时具备业务的安全隔离，保障多组任务有效使用同一张GPU物理卡，大幅度提升AI训练任务在UCS（On-Premises）集群的运行体验，目前xGPU能力已经完全落地在UCS（On-Premises）平台之上，如下是整体架构：

xGPU不仅实现单卡GPU虚拟化，还原生兼容kubernetes生态 ：

深度兼容kubernetes: xGPU技术原生与kubernetes深度兼容，无侵入式修改厂商驱动和代码库，运行时无需替换CUDA库；适配标准的Containerd工作方式，容器业务无需任何改造。

GPU资源灵活隔离: x GPU实现了物理GPU的资源任意划分，根据训练任务的配置要求按照不同比例灵活隔离；可从算力、显存两个维度进行细粒度划分，达到MB级显存隔离、5%粒度的算力划分。