Как работает технология распознавания голосов в системе Apple Intelligence

Технология распознавания голосов в системе Apple Intelligence основана на анализе качества голоса, а не только его содержания. 13

Система оценивает голос по семи ключевым параметрам: 3

1. Разборчивость — насколько легко понимается речь. 1
2. Нечёткие согласные — насколько внятно артикулируются согласные звуки. 1
3. Резкость голоса — грубая, напряжённая или хриплая характеристика голоса. 1
4. Естественность — насколько плавно или типично звучит речь для слушателя. 1
5. Равномерность громкости — отсутствие перепадов в громкости речи. 1
6. Монотонность — отсутствие перепадов высоты тона, приводящее к ровной или «роботизированной» интонации. 1
7. Придыхание — присутствие шума воздуха или шёпота в голосе, часто возникающее из-за неполного закрытия голосовых связок. 1

Для извлечения звуковых характеристик Apple использует пять моделей ИИ. 1 Они обрабатывают аудиофрагмент, извлекают необходимые параметры, а затем запускают лёгкий прогнозирующий алгоритм, который определяет, соответствует ли речь заданной норме или сигнализирует о потенциальных отклонениях. 3

Модели ИИ обучены на специально отобранных данных, включающих записи людей с неврологическими диагнозами. 3 Это отличает подход Apple от большинства конкурентов, где модели обучаются в основном на здоровых голосах. 3