What is the Massive Text Embeddings Benchmark (MTEB) leaderboard?

MTEB Leaderboard (Massive Text Embedding Benchmark) — платформа для ранжирования моделей обработки текста, размещённая на сайте Hugging Face. toolshu.com

Цель MTEB — оценка тысяч публичных и частных моделей на более чем 100 наборах данных в рамках 8 семейств задач: извлечение, повторный рейтинг, семантическая схожесть, классификация, кластеризация, обобщение, парная классификация и STS. toolshu.com

Некоторые особенности MTEB Leaderboard:

• Многокритериальная оценка. toolshu.com Используются такие метрики, как стандартизированный nDCG@10, MAP, Спирмен и другие. toolshu.com
• Воспроизведение одним щелчком мыши. toolshu.com Каждая строка связана с запускаемым блокнотом и конфигурацией YAML. toolshu.com
• Сравнение бок о бок. toolshu.com Можно отметить любые модели, чтобы создать сравнительные диаграммы. toolshu.com
• Актуальные обновления. toolshu.com Новые результаты от сообщества интегрируются в течение 24 часов. toolshu.com

Для кого предназначен MTEB Leaderboard: для исследователей, инженеров и студентов, которые хотят узнать, как архитектура, размер и данные для обучения влияют на производительность. toolshu.com

Адрес сайта: huggingface.co/spaces/mteb/leaderboard. toolshu.com vk.com