量子位

量子位

9.84K

粉丝

475

文章

7.15万

总浏览

5

平均评分

关于我

AI领域资深专家

#大语言模型 #机器学习 #深度学习 #自然语言处理

热门文章

让OpenAI只领先5天，百川发布推理新模型，掀翻医疗开源天花板
AI热点 1 months ago

让OpenAI只领先5天，百川发布推理新模型，掀翻医疗开源天花板

量子位 量子位
79 0
推理成本骤降75%。gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型
AI热点 1 months ago

推理成本骤降75%。gpt-oss用新数据类型实现4倍推理速度，80GB显卡能跑1200亿参数大模型

OpenAI在最新的开源模型gpt-oss上采用的MXFP4数据类型，直接让推理成本暴降75%！更惊人的是，MXFP4在把内存占用降为同规模BF16模型的四分之一的同时，还把生成token的速度提升了整整4倍。换句话说，这一操作直接把1200亿参数的大模型塞进80GB显存的显卡，哪怕是只有16GB显存的显卡也能跑200亿参数的版本。（注：显存容量通常会大于Checkpoint Size）

量子位 量子位
68 0
GPT-oss太离谱：无提示自行想象编程问题，还重复求解5000次
AI热点 1 months ago

GPT-oss太离谱：无提示自行想象编程问题，还重复求解5000次

量子位 量子位
189 0
VLA进化后降维打击！双手拣货，漂移操作，太空舱直接开上街
视频教程 1 months ago

VLA进化后降维打击！双手拣货，漂移操作，太空舱直接开上街

量子位 量子位
129 0
浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行
开源项目 1 months ago

浪潮信息发布新一代AI超节点，支持四大国产开源模型同时运行

量子位 量子位
91 0
错信AI幻觉，一男子用溴化钠替代食用盐，真给自己吃出幻觉了
AI热点 1 months ago

错信AI幻觉，一男子用溴化钠替代食用盐，真给自己吃出幻觉了

量子位 量子位
109 0
推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度
AI热点 1 months ago

推理成本骤降75%！gpt-oss用新数据类型实现4倍推理速度

henry 发自 凹非寺量子位 | 公众号 QbitAIOpenAI在最新的开源模型gpt-oss上采用的MXFP4数据类型，直接让推理成本暴降75%！更惊人的是，MXFP4在把内存占用降为同规模BF16模型的四分之一的同时，还把生成token的速度提升了整整4倍。换句话说，这一操作直接把1200亿参数的大模型塞进80GB显存的显卡，哪怕是只有16GB显存的显卡也能跑200亿参数的版本。（注：显存

量子位 量子位
210 0
全球首只“机器藏羚羊”！云深处科技机器狗深入可可西里腹地
AI热点 1 months ago

全球首只“机器藏羚羊”！云深处科技机器狗深入可可西里腹地

量子位 量子位
87 0
达摩院开源具身智能“三大件”，机器人上下文协议首次开源
开源项目 1 months ago

达摩院开源具身智能“三大件”，机器人上下文协议首次开源

量子位 量子位
103 0
蛋白质基座的GPT时代来了？！
AI热点 1 months ago

蛋白质基座的GPT时代来了？！

量子位 量子位
193 0
加载更多
睡觉动画