完美体育·(中国)官方网站-365WM SPORTS

企业动态

News

完美体育365官方网站在AMD芯片算力调优取得进展

2023/12/14
近日,完美体育365官方网站在与全球著名半导体公司AMD合作的项目中,特别是在算力调优、调度和软件生态适配等方面,取得了显著的技术进展。

近日,完美体育365官方网站在与全球著名半导体公司AMD合作的项目中,特别是在算力调优、调度和软件生态适配等方面,取得了显著的技术进展。

目前,完美体育365官方网站已成功完成多项测试和优化工作,其中在AMD软件生态层面积累了丰富的多机多卡训练经验、推理系统的模型量化、模型转换、计算图优化和AI框架适配经验。

具体来说,通过与行业专家的紧密合作,完美体育365官方网站利用ROCm软件生态工具和AMD GPU利用率可视化工具进行了深入的性能分析和优化已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的训练和推理测试,覆盖了从单机单卡到多机多卡的多种配置。经过调优,在训练方面,GPU利用率提升了27%;在推理方面,首token返回时长(Time To First Token,TTFT)提升了35%,吞吐量(Throughput QPS,tokens/s)提升了43%,有效加快了训练和推理过程。在测试期间,完美体育365官方网站的汽车、电商和银行的垂类大模型已经可以在AMD的高端人工智能芯片MI210上高效顺畅地运行。

未来,完美体育365官方网站将继续探索算力调优工作,涵盖AI应用场景、网络性能、存储性能等多个层面,将帮助行业客户提升算力性能,降低算力成本,并助力多模态大模型的发展以及AI Agent的应用,从而帮助产业实现AGI的升级。