A high-throughput and memory-efficient inference and serving engine for LLMs
11569 文章
2144100 浏览次数
950300 粉丝
评论 (0)
推荐文章
北京人形开源最新VLM模型，推动具身智能再迈关键一步 !
2月前
•
开源项目
超大参数量具身VLM开源：首创DPPO训练范式，模型性价比天花板
2月前
•
开源项目
用了Rust，谷歌实测：Android上内存漏洞率比C/C++低1000倍！
2月前
•
开源项目
速抢（2核2G）77元/年香港免备案服务器
0秒前
•
开源项目
刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，上下文10倍级扩展
3月前
•
开源项目
AI的开源战略
2月前
•
开源项目
开源即爆火！英伟达重磅推出OmniVinci全模态大模型
2月前
•
开源项目
国际刑事法院也“踢掉”了微软Office！因邮箱一度“被封”，决定改为开源替代品openDesk
3月前
•
开源项目
