Какие существуют способы тестирования машинного обучения на способность к разговорам?

Некоторые способы тестирования машинного обучения на способность к разговорам:

• Тест Тьюринга. dzen.ru blog.skillfactory.ru Классическая интерпретация эксперимента: исследователь, человек и компьютер находятся в разных помещениях и общаются только текстом. blog.skillfactory.ru Цель исследователя — определить, кто есть кто. blog.skillfactory.ru Между сообщениями проходят равные промежутки времени, чтобы скорость реакции не стала подсказкой. blog.skillfactory.ru
• Проверка понимания контекста. blog.skillfactory.ru В тесте используются предложения с двойным смыслом, где правильный ответ зависит от логики. blog.skillfactory.ru Например: «Кубок не влез в чемодан, потому что он слишком большой. Что “он” — кубок или чемодан?». blog.skillfactory.ru Человек легко понимает, что речь идёт о кубке, а компьютер может запутаться. blog.skillfactory.ru
• Проверка понимания формулировок. glagolia.com Проверяется, может ли бот распознать знакомое намерение пользователя, даже если слова другие. glagolia.com
• Проверка корректности ответа. glagolia.com Оценивается, соответствует ли ответ тому, что ожидает пользователь. glagolia.com Важно исключить случай, когда бот вроде понял вопрос, но выбрал неправильный вариант ответа. glagolia.com
• Проверка стабильности. glagolia.com Проверяется, сохранится ли понимание, если слегка изменить формулировку или опечататься. glagolia.com

Результаты проверки обычно количественно оценивают (например, бот правильно ответил на 80% тестовых вопросов). glagolia.com Это помогает решить, готов ли бот к реальному использованию или его нужно улучшить. glagolia.com