Как компьютерное зрение применяется в социальных роботах для распознавания эмоций?

Компьютерное зрение применяется в социальных роботах для распознавания эмоций следующим образом:

1. Определение эмоций по мимике. rdc.grfc.ru Для этого по фиксированному и меняющемуся изображению лица анализируют ключевые точки (facial landmarks), которые размечают и привязывают к положению бровей, глаз, губ, носа, челюсти. rdc.grfc.ru Классификаторы, используемые для распознавания эмоций по изменениям в микровыражениях лица, основаны на методе опорных векторов (SVM), свёрточных нейронных сетях (CNN) и других. rdc.grfc.ru Такие системы могут точно подмечать мельчайшие изменения в микровыражениях лица, оценивать их интенсивность и эмоциональное значение. rdc.grfc.ru
2. Распознавание эмоций по активности глаз. rdc.grfc.ru Метод заключается в отслеживании компьютерным зрением таких параметров, как длительность фиксации зрачков, амплитуда и динамика саккад (быстрых согласованных движений глаз), изменения в диаметре зрачков, частота моргания и других. rdc.grfc.ru

Для успешной работы системы распознавания робот оборудован RGB- и 3D-камерами, датчиками звука, ультразвуковыми и лазерными сенсорами. nplus1.ru

Также для повышения точности распознавания эмоций используется мультимодальный подход, при котором объединяются данные о лице, интонациях, а также текст, если пользователь параллельно пишет сообщения. everest-solution.com