欢迎光临山西海润信息科技有限公司官方网站!

一站式信息化系统解决方案专家 信息化服务/系统集成18年行业经验

服务热线: 400-008-7024

京东云推出vGPU池化方案,“大模型推理大幅降本”
2023-08-15 10:39:00   来源:   评论:0 点击:

       京东云已推出 vGPU 池化方案,该方案可提供一站式 GPU 算力池化能力,令 GPU 利用率最高提升 70%,大幅降低大模型推理成本。

       京东云表示,凭借其“自主研发的混合多云操作系统云舰”,京东云在原有支持混合多云 CPU 算力池化能力基础上,针对大模型训练所需的泛算力池化能力,进一步增加了针对 AI 应用所需的调度管理能力,包括卡管理、节点管理、异构资源调度管理等,为包括大模型训练在内的多种 AI 应用,提供一站式算力池化解决方案,从而全面提升资源利用率。

  • 算力切分灵活:支持任意比例切分和动态调整机制,可实现按显卡算力、显存做细粒度切分,一张物理卡可供多个容器使用,与整卡算力相比,性能衰减在 2% 以内。
  •  
  • 精细化配额管理:支持灵活的配额管理,按显卡型号 / label 配额,有效保障资源按需分配,提升推理稳定性和训练性能。
  •  
  • 多场景适配:适配主流 CUDA 版本和不同 GPU 芯片适配,支持 TensorFlows、Pytorch 等行业主流的 AI 训练框架。
  •  
  • 多节点管理:支持节点虚拟分组和节点组指定应用使用,全面提升大模型训练效率。

相关热词搜索:

上一篇:京东大模型"言犀"来了
下一篇:Chrome 浏览器现可使用人工智能来总结文章

咨询咨询 QQQQ 微信微信 二维码 地址地址 TOPTOP