Как YandexGPT 5 Pro сравнивается с другими современными языковыми моделями?

YandexGPT 5 Pro — флагманская нейросетевая модель от Яндекса, которая предназначена для генерации текста, обработки запросов и решения сложных задач. aidive.org

По данным «Яндекса», YandexGPT 5 Pro сопоставима по качеству ответов с ChatGPT-4o и в 64% случаев превосходит китайскую Qwen‑2.5-32B‑Instruct в решении стандартных задач. habr.com В частности, YandexGPT 5 Pro даёт более точные ответы на фактовые вопросы, лучше следует инструкциям, однако математика — её слабое место. habr.com

Некоторые показатели сравнения YandexGPT 5 Pro с другими моделями:

• Написание кода: на бенчмарке HUMAN_EVAL YandexGPT 5 Pro показала результаты 86%, что сопоставимо с GPT-4o. aidive.org
• Решение математических задач: на бенчмарке MATH YandexGPT 5 Pro набрала 81%, что близко к Qwen 2.5 32b и лучше, чем у GPT-4o. aidive.org
• Генерация текста и суммаризация: YandexGPT 5 Pro превосходит YandexGPT 4 Pro в 74% случаев для суммаризации и 65% для генерации текста. aidive.org
• Обработка запросов на английском языке: модель работает с улучшенной поддержкой благодаря увеличению доли англоязычных данных. aidive.org
• Работа с RAG сценариями: YandexGPT 5 Pro одержала 68% побед над YandexGPT 4 Pro и 55% над GPT-4o. aidive.org

В некоторых задачах, таких как написание и обобщение текстов, YandexGPT 5 Pro не уступает GPT-4 от OpenAI и другим мировым лидерам. dzen.ru