Как работает технология распознавания голосов в системе Apple Intelligence

Технология распознавания голосов в системе Apple Intelligence основана на анализе качества голоса, а не только его содержания. 3dnews.ru dzen.ru

Система оценивает голос по семи ключевым параметрам: dzen.ru

1. Разборчивость — насколько легко понимается речь. 3dnews.ru
2. Нечёткие согласные — насколько внятно артикулируются согласные звуки. 3dnews.ru
3. Резкость голоса — грубая, напряжённая или хриплая характеристика голоса. 3dnews.ru
4. Естественность — насколько плавно или типично звучит речь для слушателя. 3dnews.ru
5. Равномерность громкости — отсутствие перепадов в громкости речи. 3dnews.ru
6. Монотонность — отсутствие перепадов высоты тона, приводящее к ровной или «роботизированной» интонации. 3dnews.ru
7. Придыхание — присутствие шума воздуха или шёпота в голосе, часто возникающее из-за неполного закрытия голосовых связок. 3dnews.ru

Для извлечения звуковых характеристик Apple использует пять моделей ИИ. 3dnews.ru Они обрабатывают аудиофрагмент, извлекают необходимые параметры, а затем запускают лёгкий прогнозирующий алгоритм, который определяет, соответствует ли речь заданной норме или сигнализирует о потенциальных отклонениях. dzen.ru

Модели ИИ обучены на специально отобранных данных, включающих записи людей с неврологическими диагнозами. dzen.ru Это отличает подход Apple от большинства конкурентов, где модели обучаются в основном на здоровых голосах. dzen.ru