A high-throughput and memory-efficient inference and serving engine for LLMs
11569 文章
2144100 浏览次数
950300 粉丝
评论 (0)
推荐文章
速抢（2核2G）77元/年香港免备案服务器
0秒前
•
开源项目
超大参数量具身VLM开源：首创DPPO训练范式，模型性价比天花板
1月前
•
开源项目
用了Rust，谷歌实测：Android上内存漏洞率比C/C++低1000倍！
1月前
•
开源项目
全球最大开源具身大模型！中国机器人跑完马拉松后开始学思考
1月前
•
开源项目
刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展
1月前
•
开源项目
AI的开源战略
1月前
•
开源项目
开源即爆火！英伟达重磅推出OmniVinci全模态大模型
1月前
•
开源项目
国际刑事法院也“踢掉”了微软Office！因邮箱一度“被封”，决定改为开源替代品openDesk
1月前
•
开源项目
