趋势洞察 2 days ago 60 Views 0 Comments

从云入端,CANN & Ascend C 助力大模型端侧部署|QCon 上海

InfoQ
InfoQ

Published 275 Articles

如果你也关注 Agent、AI 搜索、多模态、工程化等话题,一定不要错过这 100+可落地的实践案例!


10 月 23 日-10 月 25 日,QCon 全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题,以及 AI 时代下的软件研发、可观测、开源等技术实践,邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家,和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师,和你一起重构技术认知与能力边界!


华为 CANN 端侧生态技术专家章武已确认出席并发表题为从云入端,CANN & Ascend C 助力大模型端侧部署的主题分享。本次演讲将围绕当前端侧大模型日益增长需求,针对华为手机端侧大模型入端技术挑战(人因、内存、存储、功耗等),重点介绍相关创新技术实践和生态开放方案,同时展望未来端云协同技术下端侧大模型能力的演进。


章武,华为 CANN 端侧生态技术专家,深耕华为端侧 AI 计算领域 8 年,主要研究方向高性能计算、大模型推理、硬件建模、端侧 AI 生态。长期从事端侧 AI 生态技术构建,主导与 TOP 互联网 APP 做技术合作和业务上线。他在本次会议的详细演讲内容如下:


演讲提纲

1. 背景

  • 端侧大模型应用场景

  • 大模型入端的主要收益

2. 端侧大模型技术的主要挑战

  • 大模型应用的人因体验

  • 内存、存储、算力和功耗多重受限

3. 大模型入端技术创新实践

  • 算法创新(投机、以存代算、token 压缩复用)

  • 模型小型化(量化)

  • 推理加速优化

  • 内存极致压缩复用

4. 大模型能力开放

  • 大模型推理引擎

  • 自定义算子编程 Ascend C

5. 未来展望

  • 端云场景的协同


您认为,这样的技术在实践过程中有哪些痛点?

  • 大模型的端侧推理的内存优化和包体积优化

  • 端侧大模型场景功耗问题


演讲亮点

  • 大模型大模型推理引擎,Ascend C 自定义编程


听众收益

  • 大模型入端技术探索,端云协同,低 bit 量化


除此之外,本次大会还策划了多模态融合技术与创新应用混沌工程与全链路压测实践Data Infra for AIAgentic AI加速与反哺:AI 时代的可观测实践Vibe Coding端侧大模型的创新与应用大模型推理的工程实践AI 搜索技术的深水区模型训练与微调具身智能:当 AI 学会“动手思考”大模型驱动的制造革命AI4SE:软件研发提质增效实践AI 重塑视觉创作体验从“炫技”走向“实用”的 AI 产品大模型驱动的智能数据分析等 20 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,,详情可联系票务经理 18514549229 咨询。

<!---->


InfoQ

InfoQ

275 Articles 39590 Views 0 Fans

Comment (0)

睡觉动画