根据检索到的材料,HuggingFace 上的向量模型排行榜主要关注文本嵌入模型。以下是关于 HuggingFace 文本向量模型排行榜的一些关键信息:
HuggingFace 文本向量模型排行榜概述
-
MTEB排行榜:
- MTEB(Massive Text Embedding Benchmark) 是一个海量的文本嵌入模型排行榜,定期更新并综合排名开源的嵌入模型。
- 这个排行榜提供了多种指标,包括TOP@1、TOP@5和TOP@10等,用于评估不同模型的性能。
- 排行榜上的模型通常根据其在新颖性、可解释性、泛化性等方面的表现进行排名
。
-
MMBench评测:
- MMBench 是 OpenCompass 官方自建的视觉语言模型评测数据集,评估从感知到认知的多种能力。
- MMBench 提供了约 3000 道单项选择题,覆盖了多个细粒度评估维度,如目标检测、文字识别、动作识别、图像理解、关系推理等
。
-
OpenCompass LLM Leaderboard:
- OpenCompass LLM Leaderboard 是 HuggingFace Space 上的一个面向大语言模型的性能榜单。
- 该榜单支持零样本、小样本及思维链评测,并且区分了中文数据集与英文数据集,方便模型评测和选型
。
向量模型选择
在选择合适的向量模型时,可以参考以下几点:
- TOP@1和TOP@5:如果关注的是召回率,那么tao8k可能是一个不错的选择。
- TOP@10:如果关注的是更广泛的召回,那么M3E可能更适合。
- 业务场景:选择更贴合自己实际应用场景的模型,可以在直接使用或后期微调中节省不少麻烦
。
相关链接
通过这些信息,可以更好地了解 HuggingFace 上的文本向量模型排行榜,并根据实际需求选择合适的模型。