Новое поколение генеративных текстовых нейросетей

Что такое YandexGPT 3

YandexGPT 3 — новая линейка генеративных моделей Яндекса. Она лучше решает сложные задачи и следует заданному формату ответа, поэтому особенно хорошо подходит для применения в ИТ-продуктах и для других бизнес-задач.

Первая модель линейки — YandexGPT 3 Pro — уже доступна на сайте Yandex Cloud. Компании могут дообучать её на собственных примерах.

«Добившись неплохого уровня на потоке, мы сфокусировались на по-настоящему сложных запросах…»
Алексей Гусаков
Алексей Гусаков
CTO Поиска
Чем YandexGPT 3 отличается от других моделей

Лучше понимает вопросы и решает задачи

Для оценки общего качества модели мы использовали YaMMLU_ru — переведённую и адаптированную версию методики MMLU. Она измеряет способность нейросетевой модели понимать запросы и решать задачи из разных областей знаний.

Процент верных ответов YaMMLU_ru (на русском языке)

YandexGPT 3
63%
YandexGPT 2
55%
Llama-2 70B
59%
ChatGPT-3.5 Turbo
58%

Реже ошибается

Процент ответов, содержащих ошибки разных видов (по данным внутренних измерений)
Категория ошибки
YandexGPT 2
YandexGPT 3
Фактическая ошибка
16,4%
13,5%
Неподтверждённая информация
6,4%
5%
Фактическая ошибка
YandexGPT 2
YandexGPT 3
Логическая ошибка
16,4%
13,5%
6,4%
5%

Решает задачи пользователей и бизнеса

YandexGPT 3 не просто умнее моделей предыдущего поколения. Она превосходит их и ChatGPT-3.5 Turbo в ответах на узкие классы запросов, важных для бизнеса. Для этого мы дополнительно обучили модель на задачах, которые могут возникать в рабочих процессах.
«Вместе с компаниями мы сформировали набор задач, по которым большие языковые модели должны отвечать как можно лучше…»
Алексей Гусаков
Алексей Долотов
CPO YandexGPT API

Категории задач по типу запроса

Процент побед при слепом попарном сравнении ответов на один и тот же запрос (по результатам внутренних измерений)
Категория запроса
YandexGPT 3
против YandexGPT 2
YandexGPT 3
против ChatGPT-3.5 Turbo
Пользовательские запросы
69%
70%
Бизнес-запросы
60%
53%
YandexGPT 3
против YandexGPT 2
YandexGPT 3
против ChatGPT 3.5
Пользовательские запросы
69%
70%
Бизнес-запросы
60%
53%

Классы задач по содержанию

Процент побед при слепом попарном сравнении ответов на один и тот же запрос (по результатам внутренних измерений)
Категория запроса
YandexGPT 3
против YandexGPT 2
YandexGPT 3
против ChatGPT-3.5 Turbo
Ответы на основе данных, указанных в запросе
61%
58%
Суммаризация: выделение главного и пересказ
65%
69%
Брейншторм, генерация идей
67%
71%
Переписывание, переформулирование и стилизация
68%
67%
Ответы на общие вопросы без опоры на данные в запросе
70%
67%
Генерация текстов
69%
61%
Классификация информации
59%
61%
Чаты и переписка с пользователями
72%
64%
YandexGPT 3
против YandexGPT 2
YandexGPT 3
против ChatGPT 3.5
Ответы на основе данных, указанных в запросе
61%
58%
Суммаризация: выделение главного и пересказ
65%
69%
Брейншторм, генерация идей
67%
71%
Переписывание, переформулирование и стилизация
68%
67%
Ответы на общие вопросы без опоры на данные в запросе
70%
67%
Генерация текстов
69%
61%
Классификация информации
59%
61%
Чаты и переписка с пользователями
72%
64%
В чём YandexGPT 3 стала лучше — показываем на примерах
«YandexGPT третьего поколения будет особенно полезна как в банковской сфере, так и в промышленности…»
Алексей Гусаков
Алексей Долотов
CPO YandexGPT API

Вопросы с контекстом

Подробные запросы с большим количеством значащих деталей. Модель лучше понимает задачу и выдерживает формат ответа.
YandexGPT API
Классифицируйте следующие обращения клиентов в одну из категорий.

Категории: Проблемы с приложением, Кредиты и займы, Счета и депозиты, Оформление и закрытие счетов, Другое.

Обращения:

1. «Здравствуйте, я хотел бы узнать условия кредитования для приобретения автомобиля. Какие процентные ставки у вас предлагаются и на какой срок можно взять кредит?»

2. «У меня есть накопительный счет в вашем банке, и я хотел бы узнать, какие возможности есть для вложения дополнительных средств и какие типы депозитов вы предлагаете.»

3. «Мобильное приложение вашего банка не загружается на моем смартфоне. Как мне решить эту проблему и получить доступ к онлайн-банкингу?»

В ответ напиши таблицу. В каждой строке — номер обращения, отдельные столбцы для каждой категории. Далее для каждого обращения поставь символ «+» в подходящем столбце. Остальные поля оставьте пустыми.

Было
Стало
Обращение Проблемы
с приложением
Кредиты
и займы
Счета
и вклады
Оформление
и закрытие счетов
Другое
1. + +
2. + +
3. + +
decoration arrow
Обращение Проблемы
с приложением
Кредиты
и займы
Счета
и депозиты
Оформление
и закрытие счетов
Другое
1 +
2 +
3 +

Выделение информации

Задачи по поиску в тексте конкретных данных и решению задач на их основе. Модель точнее выделяет информацию и отвечает на заданный вопрос.
YandexGPT API

Ты ассистент HR-партнёра. Тебе нужно обработать резюме кандидата и ответить на вопросы:

  1. Есть ли опыт в разработке интерфейсов?
  2. Есть ли опыт в дизайне сайтов?

Вот резюме: Кансбек Арасек
Мужчина, 35 лет, родился 26 июля 1988

akengek@mail.com — предпочитаемый способ связи

Проживает: Москва
Гражданство: Казахстан, есть разрешение на работу: Россия
Желаемая должность и зарплата: Дизайнер сайтов

Навыки и опыт

  • Знание графических программ (Adobe Photoshop, Figma, Sketch и др.) — скачал на компьютер.
  • Умение работать с UX/UI, адаптивным дизайном — купил курсы, еще не открывал.
  • Навыки создания макетов и прототипирования — нет.
  • Высокая креативность и внимание к деталям — мама хвалит.
  • Умение работать в команде.
  • Базовые знания HTML/CSS — знаю, как расшифровывается.
Было
Стало
1) Есть ли опыт в разработке интерфейсов?  Опыт в разработке интерфейсов отсутствует. 

2) Есть ли опыт в дизайне сайтов?  Имеется опыт работы с графическими программами, также есть знания HTML и CSS, что указывает на некоторый опыт в дизайне сайтов.

decoration arrow
1. Нет.

2. Нет.

Суммаризация

Задачи по анализу текста или массива информации и формулированию выводов на их основе.
YandexGPT API
Проанализируй отзывы пользователей о запуске нового продукта в торговой сети. На основании этого анализа сделай вывод о тональности всего обсуждения: позитивная, негативная, нейтральная.
После этого перечисли список пожеланий пользователей: чего бы еще они хотели от продукта.

Отзывы:

Пользователь 1: +100 кг с такой едой
Пользователь 2: На вкус не понравились ((((
Пользователь 3: Какие же милые розовые сердечные вареники с творогом вы придумали 😍 Сегодня приготовила эти милейшие вареники — очень вкусные, милые, эстетичные. Их даже дочка покушала, хотя она вообще не любитель 🤍🤍🤍 Подскажите, а будут ли они продаваться на постоянной основе?
Пользователь 4: Их поймать нереально 😢 постоянно нет в наличии… задумка прикольная 😍
Пользователь 5: Заказали ваши пельмени сердечками, очень милые и вкусные ❤️ спасибо
Пользователь 6: К — клиентоориентированность 😍

Было
Стало
Позитивная
decoration arrow
Тональность восприятия запуска нового продукта в торговой сети можно охарактеризовать как позитивную.

Пользователи отмечают привлекательный внешний вид продукта, его вкусовые качества и выражают желание видеть его в продаже на постоянной основе.

Пожелания пользователей:
* Сделать продукт доступным для покупки (постоянно иметь в наличии).
* Рассмотреть возможность расширения ассортимента.

Генерация

Запросы на создание текстов для применения в реальных рабочих задачах. Модель точнее обращается с информацией, лучше структурирует текст, меньше фантазирует.
YandexGPT API
Напиши мне резюме. Опыт работы у меня небольшой. Учился в МГУ ВМК с 2022, ещё не закончил. Программирую на питончике, котлин трогал, мускуль норм понимаю. Меня стажировали парни из «моего офиса» с марта по ноябрь двадцать второго, после чего я работаю фрилансом, клепаю сайты на заказ и немного трогаю иосную разработку
Было
Стало
Имя Фамилия: Иван Петров

Контактная информация: телефон, email

Цель: Ищу работу стажёра или фриланс в области программирования. Буду благодарен за возможность применить свои навыки и учиться у профессионалов.

Образование: МГУ ВМК, факультет математики и компьютерных наук (курс 3)

Опыт работы:

Стажировка в компании "Мой Офис", программист Python и Kotlin, с марта 2022 по ноябрь 2022.
Фриланс, разработка сайтов на заказ, программирование на Python, работа с базой данных MySQL.

Навыки:

Программирование на Python, Kotlin, Java (с небольшим опытом) Работа с базами данных SQL, MySQL Верстка веб-страниц HTML/CSS/JavaScript Опыт командной работы, умение решать задачи и работать самостоятельно

Личные качества: ответственность, обучаемость, коммуникабельность, высокая самоорганизация.

Готов приступить к работе в ближайшее время.
Спасибо за внимание!

decoration arrow
ФИО: [Ваше имя]

Дата рождения: [Ваша дата рождения]

Образование:
* Московский государственный университет имени М. В. Ломоносова, факультет вычислительной математики и кибернетики (ВМК), специальность «Прикладная математика и информатика».

Опыт работы:
* Март — ноябрь 2022 г.: — стажировка в компании «Мой офис».
* С ноября 2023 г. по настоящее время — фриланс.

Навыки:
* Программирование на Python и Kotlin.
* Понимание MySQL.
* Разработка сайтов на заказ.
* Опыт в области мобильной разработки.

Это лишь пример резюме, вы можете адаптировать его под свои потребности. Также вы можете добавить дополнительную информацию о себе, например, о своих достижениях, проектах, которые вы разрабатывали, и т. д.

Если у вас есть портфолио с примерами своих работ, вы также можете включить ссылку на него в резюме. Это поможет потенциальным работодателям лучше оценить

Формат JSON

Задачи, требующие структурированного ответа. Модель лучше справляется с задачей и стабильнее выдерживает формат JSON
YandexGPT API
Найди все ФИО, должность и трудовой стаж и выдай в формате JSON в виде массива объектов с полями fio, post, seniority.
В выдаче учитывай только мужчин. Если какой-то информации не хватает, пиши в соответствующей графе [NONE].

Вот текст: Алексей Михайлович Сергеев
Стаж работы: 12 лет
Должность: Инженер-программист

Имя: Екатерина Владимировна Иванова
Стаж работы: 3 года
Должность: Менеджер по маркетингу

Николай Петрович Кузнецов
20 лет
Главбух

Имя: Ольга Юрьевна Захарова
Стаж работы: 8 месяцев
Должность: HR-специалист

И. А. Соколов
Работает аналитиком данных 5 лет и 6 месяцев

Было
Стало

[ ]

decoration arrow

[
{
"fio": "Алексей Михайлович Сергеев",
"post": "Инженер-программист",
"seniority": "12 лет"
},
{
"fio": "Николай Петрович Кузнецов",
"post": "Главбух",
"seniority": "20 лет"
},
{
"fio": "И. А. Соколов",
"post": "Аналитик данных",
"seniority": "5 лет и 6 месяцев"
}
]

Где попробовать YandexGPT 3

Новая модель доступна на платформе Yandex Cloud через API YandexGPT. Её можно попробовать в демо-режиме, для этого нужен только аккаунт на Яндексе.
Thu Oct 24 2024 09:25:48 GMT+0300 (Moscow Standard Time)