Технологии управления компьютера с помощью взгляда и голоса развиваются в направлении создания «умной среды», где технологии служат человеку, а не отвлекают его. 1

Управление взглядом реализуется с помощью трекинга глаз (eye tracking). 1 Специальные гаджеты анализируют положение движения глаз и выполняют команды, следуя за взглядом. 7 Например, корпорация Microsoft разрабатывает технологию управления приложениями с помощью движений глаз. 6 Система основана на модели искусственного интеллекта, которая анализирует поведение пользователя и делает прогнозы для повышения эффективности. 6

Голосовое управление базируется на двух ключевых технологиях: автоматическом распознавании речи (ASR), которое превращает звук в текст, и синтезе речи (TTS) из текста. 1 Умные помощники могут понимать, что говорит пользователь, и предлагать подходящие варианты ответов или решений. 4 Например, в Windows 11 есть функция голосового доступа, которая позволяет управлять компьютером с помощью голосовых команд. 5

В 2023 году сообщалось, что Google работает над функцией отслеживания движения глаз и мимики для управления устройствами на ChromeOS. 3

Перед массовым внедрением таких технологий стоят серьёзные вызовы, например, точность и стабильность работы зависят от качества оборудования и условий съёмки или считывания сигналов. 1 Также возникают вопросы в области конфиденциальности данных и этичности применения систем искусственного интеллекта. 6