火山引擎：基于 Ray 的大模型离线推理（2023）

VIP专免
2023-11-04 999+ 8.38MB 23 页 海报
侵权投诉
NoSuchBucket The specified bucket does not exist. 6893BCFD732AAA3336FBC3E7 baogaotang.oss-cn-hongkong-internal.aliyuncs.com baogaotang 0015-00000101 https://api.aliyun.com/troubleshoot?q=0015-00000101
NoSuchBucket The specified bucket does not exist. 6893BCFD0ED09E34371DCD7E baogaotang.oss-cn-hongkong-internal.aliyuncs.com baogaotang 0015-00000101 https://api.aliyun.com/troubleshoot?q=0015-00000101
NoSuchBucket The specified bucket does not exist. 6893BCFDE0E83B31325EB08D baogaotang.oss-cn-hongkong-internal.aliyuncs.com baogaotang 0015-00000101 https://api.aliyun.com/troubleshoot?q=0015-00000101
摘要：

2023/3/271基于Ray的大模型离线推理王万兴｜火山引擎资深研发工程师22.使用Ray构建大模型推理框架3.Ray云原生部署实践1.大模型离线推理的关键挑战2大模型离线推理的关键挑战3www.volcengine.com大模型离线推理4大模型离线推理（Batch推理），是指在具有数十亿至数千亿参数的大规模模型上进行分布式计算推理的过程www.volcengine.com大模型离线推理的关键挑战--GPUMemoryWallØ模型参数量越来越大Ø算力和需求gap越来越大Ø需要做模型切分5www.volcengine.com模型切分6ü支持更大模型ü降低成本ü空分复用www.volcengi...

展开>> 收起<<
火山引擎：基于 Ray 的大模型离线推理（2023）.pdf

共23页,预览7页

还剩页未读， 继续阅读

声明：报告堂所有资料均为用户上传分享，仅供参考学习使用，版权归原作者所有。若侵犯到您的权益，请告知我们处理！任何个人或组织，在未征得本平台同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
立即下载

相关内容

更多

热门标签

新能源 人工智能 新能源汽车 医疗器械 直播 短视频 智慧城市 招商方案 自动驾驶 制造业
/ 23
评分 收藏
分享
立即下载 VIP免费下载
客服
关注