Какие существуют методы распознавания голосовых подделок в индустрии развлечений?

Некоторые методы распознавания голосовых подделок (дипфейков) в индустрии развлечений:

• Распознавание по звукам. trends.rbc.ru Один из методов — поиск лишних звуковых элементов в поддельных записях. trends.rbc.ru Например, алгоритм Pindrop анализирует от 8 тыс. до 50 тыс. выборок данных в каждой секунде записи и выявляет артефакты звучания, которых в дипфейках быть не должно. trends.rbc.ru
• Прогнозирование вероятностей. trends.rbc.ru Инструмент Resemblyzer от американской Resemble AI использует искусственный интеллект и машинное обучение для обнаружения дипфейков, получая высококачественные представления образцов голоса. trends.rbc.ru
• Выявление по частотам голоса. trends.rbc.ru Учёные Джоэл Франк и Леа Шонхерр разработали алгоритм, который позволяет отличить реальный голос человека от дипфейка по частоте. trends.rbc.ru Для этого они сравнили распределение частот в реальных и поддельных аудиозаписях. trends.rbc.ru
• Выявление дипфейков с помощью математики. trends.rbc.ru Международная группа исследователей представила метод, который анализирует несколько секунд звука, чтобы определить, является ли он подлинной человеческой речью или дипфейком. trends.rbc.ru
• Спектральный анализ. www.ixbt.com Для этого используют специальную программу, которая извлекает более 6 000 характеристик из аудиоволн, таких как среднее, стандартное отклонение, коэффициенты регрессии и т. д.. www.ixbt.com Затем программа выбирает 20 самых важных характеристик и сравнивает их с другими аудиоклипами. www.ixbt.com
• Использование модели глубокого обучения. www.ixbt.com Этот метод принимает на вход сырое аудио и обрабатывает его, извлекая многомерные представления, называемые вложениями. www.ixbt.com Эти вложения используются для различения реального и «синтетического» аудио. www.ixbt.com