Как работает нейрофильтр YaGPT в системе Яндекс 360?

Нейрофильтр с YandexGPT в системе Яндекс 360 работает на базе двух нейросетей. 360.yandex.kz Первая определяет важность каждого письма, чтобы сделать выборку из главных сообщений, вторая — выделяет ключевые тезисы из них и выводит краткое резюме. 360.yandex.kz

Отбор писем для дайджеста происходит с помощью нейросетевой технологии «Спамооборона». 360.yandex.kz www.ixbt.com У неё нет доступа к содержимому переписок — она обучается на обезличенных данных о том, как люди взаимодействуют с письмами: какие из них открывают, какие помечают как важные, какие удаляют. 360.yandex.kz www.ixbt.com Важность письма определяется на основе более 1000 факторов: отправитель, количество полученных и прочитанных писем от него, размер сообщения, наличие вложений и других. 360.yandex.kz

Процесс отбора включает работу двух моделей: 360.yandex.kz

1. Текстовая модель. 360.yandex.kz Текст письма в зашифрованном виде отправляется в предобработчик, который преобразует его в элементы, понятные нейросети, — токены. 360.yandex.kz Аналогичный процесс проходят subject и from — имя отправителя и тема. 360.yandex.kz На выходе модель выдаёт число, которое показывает, с какой вероятностью пользователь прочитает имейл или кликнет по ссылке внутри. 360.yandex.kz
2. Бустинговая модель. 360.yandex.kz Получает информацию о нескольких сотнях факторов из текстовой модели и «Спамообороны». 360.yandex.kz Затем анализирует данные, выдаёт «число важности» и сравнивает его с установленным порогом. 360.yandex.kz Например, если результат будет равен пяти, то, вероятнее всего, письмо пришло от реального отправителя и содержит нужную информацию, поэтому оно попадёт в специальный блок. 360.yandex.kz

Генерация краткого содержания писем происходит с помощью нейросети YandexGPT. www.iguides.ru www.ixbt.com Она делает пересказ только тех писем, на которые указала «Спамооборона», и только у тех пользователей, которые включили функцию. www.ixbt.com

Процесс суммаризации проходит в два этапа: 360.yandex.kz

1. С помощью энкодера (кодировщик) текст разбивается на токены. 360.yandex.kz А затем они преобразуются в эмбеддинги — численное представление, понятное модели. 360.yandex.kz
2. Декодер (расшифровщик) получает это числовое представление и пытается его расшифровать. 360.yandex.kz Благодаря ему нейросеть переводит основные мысли в тезисы — читабельный для человека формат из отдельных предложений. 360.yandex.kz

Нейрофильтр самообучается на оценках пользователей — можно оценить качество подборки и качество пересказа. 360.yandex.kz www.ixbt.com Содержимое подборки обновляется в режиме реального времени: новые письма добавляются по мере поступления, а старые удаляются при прочтении. www.iguides.ru