Компьютерное зрение применяется в социальных роботах для распознавания эмоций следующим образом:

1. Определение эмоций по мимике. 2 Для этого по фиксированному и меняющемуся изображению лица анализируют ключевые точки (facial landmarks), которые размечают и привязывают к положению бровей, глаз, губ, носа, челюсти. 2 Классификаторы, используемые для распознавания эмоций по изменениям в микровыражениях лица, основаны на методе опорных векторов (SVM), свёрточных нейронных сетях (CNN) и других. 2 Такие системы могут точно подмечать мельчайшие изменения в микровыражениях лица, оценивать их интенсивность и эмоциональное значение. 2
2. Распознавание эмоций по активности глаз. 2 Метод заключается в отслеживании компьютерным зрением таких параметров, как длительность фиксации зрачков, амплитуда и динамика саккад (быстрых согласованных движений глаз), изменения в диаметре зрачков, частота моргания и других. 2

Для успешной работы системы распознавания робот оборудован RGB- и 3D-камерами, датчиками звука, ультразвуковыми и лазерными сенсорами. 1

Также для повышения точности распознавания эмоций используется мультимодальный подход, при котором объединяются данные о лице, интонациях, а также текст, если пользователь параллельно пишет сообщения. 4