近日,通义千问官方正式发布了Qwen3-Embedding系列模型,作为Qwen模型家族的新成员,该系列模型专为文本表征、检索与排序任务而设计。Qwen3-Embedding系列基于Qwen3基础模型进行训练,充分继承了Qwen3在多语言文本理解能力上的显著优势。
该系列模型在多项基准测试中表现出色,特别是在文本表征和排序任务中展现了卓越性能。测试使用了MTEB(包括英文版v2、中文版v1、多语言版以及代码版)中的检索数据集,排序结果基于Qwen3-Embedding-0.6B的top-100向量召回结果。值得一提的是,8B参数规模的Embedding模型在MTEB多语言榜单中位列第一,得分高达70.58,性能超越众多商业API服务。
Qwen3-Embedding系列提供了从0.6B到8B参数规模的三种模型配置,以满足不同场景下的性能与效率需求。开发者可以灵活组合表征与排序模块,实现功能的扩展。此外,模型还支持表征维度自定义和指令适配优化,允许用户根据实际需求调整表征维度,并自定义指令模板,以提升特定任务、语言或场景下的性能表现。
在多语言支持方面,Qwen3-Embedding系列表现出色,支持超过100种语言,涵盖主流自然语言及多种编程语言,具备强大的多语言、跨语言及代码检索能力。该系列模型采用了双塔结构和单塔结构的设计,分别用于Embedding模型和Reranker模型,通过LoRA微调最大限度地保留并继承了基础模型的文本理解能力。
训练过程中,Qwen3-Embedding系列采用了多阶段训练范式,并针对具体应用场景进行了深度优化。Embedding模型通过三阶段训练架构,包括超大规模弱监督数据的对比学习预训练、高质量标注数据的监督训练以及模型融合策略,有效平衡了模型的泛化能力与任务适配性。而Reranker模型则直接采用高质量标注数据进行监督训练,以提升训练效率。
此次发布的Qwen3-Embedding系列模型已在Hugging Face、ModelScope和GitHub平台开源,用户也可直接使用阿里云百炼平台提供的最新文本向量模型服务。官方表示,这只是一个新的起点,依托于Qwen基础模型的持续优化,将继续提升文本表征与排序模型的训练效率,并计划拓展多模态表征体系,构建跨模态语义理解能力。
ModelScope:
https://modelscope.cn/collections/Qwen3-Embedding-3edc3762d50f48
https://modelscope.cn/collections/Qwen3-Reranker-6316e71b146c4f
Hugging Face:
https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f
https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea
GitHub:
https://github.com/QwenLM/Qwen3-Embedding