← 返回首页
JoyScale AI算力平台-京东云
服务热线 400-098-8505
售前咨询 购买问题咨询
售后服务 在线售后支持

长按或截图扫码

获取1V1专业服务

JoyScale AI算力平台

面向大模型训练、推理的算力需求,提供行业领先的GPU算力切分和智算池化技术,实现单集群万卡调度、全局超10万卡调度,以及跨智算中心横向扩展,在异构算力上实现了更灵活的调度管理。

立即咨询

面向大模型训练、推理的算力需求,提供行业领先的GPU算力切分和智算池化技术,实现单集群万卡调度、全局超10万卡调度,以及跨智算中心横向扩展,在异构算力上实现了更灵活的调度管理。

立即咨询
应对“应用+AI”时代典型挑战

大模型时代算力需求爆发,通过JoyScale实现持续降本增效;布局AI信创芯片适配,国产化真替真用

  • 高性能 强隔离

    内核态算力切分,接近零损耗

  • 高密度 离在线

    容器化资源部署密度提升3倍

  • 云原生 无侵入

    插件化支持 Kubernetes

  • 国产化 覆盖广

    屏蔽异构厂商 GPU/NPU

为什么要对 GPU 做池化?

提高利用率

· 模型训练中,GPU 卡被独占,利用率尚可。但在更普遍的推理场景中,GPU 卡得不到100%的利用

· 通过虚拟化,同一张 GPU 卡可在多个虚拟机/容器/用户之间共享,性能与物理卡几乎无差别

管理更灵活

· 池化技术提高了 GPU 资源部署和管理的灵活性,允许动态分配和调整 GPU 资源,不需要进行物理配置的更改

· 备份、迁移和恢复,变得更加快捷

安全性和隔离

· 在多任务或多租户环境中,算力切分确保不同任务或用户对 GPU 的访问在安全、隔离的环境中进行,防止数据相互干扰或泄露

远程工作和云计算

· 用户对于能够远程访问高性能计算资源的需求不断增加,GPU 池化使得在云环境中提供高性能 GPU 算力成为可能,并支持复杂的计算任务

产品架构

产品能力

异构资源管理

针对包含众多国产化加速芯片在内的异构算力资源进行统一管理,有效降低异构算力资源运维复杂度

    大模型训推任务,统一管理

    大模型使用所需的训练、微调、推理任务,一体化统一管理,确保大模型使用各个环节的高效和有序进行

      资源使用看板

      针对不同 AI 任务所使用的算力资源提供统一的 资源使用看板,助力平台管理员高效运营

        客户收益

        使用场景

        共享混部
        离在线混部
        异构统一运维,配额精细管理
        更多
        共享混部
        离在线混部
        异构统一运维,配额精细管理
        共享混部
        共享混部

        【提升Notebook开发机利用率】

        ·通过虚拟化可支持多个用户进行小规模模型调试、验证、算子开发等工作

        ·使用BestEffort模式,利用算力需求时间分散特点,最大保障算力需求

        【提升推理服务利用率】

        ·采用平铺GPU分配策略避免单点故障影响服务稳定性

        ·采取最低保障隔离策略,避免互相影响

        ·帮助资源利用率提升40%,同时保证稳定性和时延

        场景介绍 【提升Notebook开发机利用率】 ·通过虚拟化可支持多个用户进行小规模模型调试、验证、算子开发等工作 ·使用BestEffort模式,利用算力需求时间分散特点,最大保障算力需求 【提升推理服务利用率】 ·采用平铺GPU分配策略避免单点故障影响服务稳定性 ·采取最低保障隔离策略,避免互相影响 ·帮助资源利用率提升40%,同时保证稳定性和时延
        离在线混部
        离在线混部

        将训练和推理合并成统一资源池

        高优任务平铺策略保障负载均衡

        低优任务紧凑策略保障资源利用率

        场景介绍 将训练和推理合并成统一资源池 高优任务平铺策略保障负载均衡 低优任务紧凑策略保障资源利用率
        异构统一运维,配额精细管理
        异构统一运维,配额精细管理

        【异构GPU资源统一管理】

        ·异构算力纳入统一集群,通过平台实现亲和性调度,终结AI算力的烟囱式管理方式

        【资源迁移/下线/上报】

        ·客户根据需下线/迁移的机器快速筛选训练推理任务及业务使用方

        【精细化算力资源配额管理】

        ·按算力、显存、卡类型进行配额管理,授权用户或部门或项目组使用

        场景介绍 【异构GPU资源统一管理】 ·异构算力纳入统一集群,通过平台实现亲和性调度,终结AI算力的烟囱式管理方式 【资源迁移/下线/上报】 ·客户根据需下线/迁移的机器快速筛选训练推理任务及业务使用方 【精细化算力资源配额管理】 ·按算力、显存、卡类型进行配额管理,授权用户或部门或项目组使用

        客户案例

        开始与售前顾问沟通

        可直接拨打电话 400-098-8505转1

        我们的产品专家为您找到最合适的产品/解决⽅案

        在线咨询 5*8⼩时

        1v1线上咨询获取售前专业咨询

        点击咨询
        企微服务助手

        专业产品顾问,随时随地沟通

        0
        在线咨询
        您好,欢迎使用京东云在线服务
        在线中

        服务热线:400–098-8505

        可直接拨打售前电话:400-098-8505转1

        添加企业微信
        1V1服务,还有优惠惊喜

        加微咨询活动细节,更有千元优惠券好礼

        回到顶部