What methods exist for quantifying uncertainty in large language models?

Алиса

На основе источников, возможны неточности

Как это работает?

Некоторые методы количественной оценки неопределённости в больших языковых моделях (LLM):

Грамматики формальной неопределённости. dzen.ru Основаны на вероятностных контекстно-свободных грамматиках (PCFG), в которых правилам вывода приписываются вероятности. dzen.ru С помощью таких грамматик моделируют неопределённость в формальных спецификациях, сгенерированных LLM. dzen.ru

Энтропия грамматики. dzen.ru Показывает, насколько неопределённым является выбор правил вывода. dzen.ru

Перплексия. dzen.ru www.itmportal.ru Оценивает, как грамматика предсказывает дальнейшие шаги формализации. dzen.ru Более низкие значения перплексии отражают более высокую точность и последовательность прогнозов. www.itmportal.ru

Спектральный радиус. dzen.ru Отражает сложность рекурсивной структуры. dzen.ru

Вероятность жадного ответа. vk.com Оценивает вероятность наиболее вероятного ответа, сгенерированного моделью. vk.com

Метод семантической энтропии. vk.com Измеряет энтропию семантического распределения ответов. vk.com

Метод самопроверки. vk.com Включает в себя проверку моделью своих ответов для оценки неопределённости. vk.com

Примеры полезных ответов Поиска с Алисой на вопросы из разных сфер. Вопросы сгенерированы нейросетью YandexGPT для актуальных тем, которые определяются на базе обобщённых запросов к Поиску с Алисой.

Пожаловаться на контент

Пользовательское соглашение

Связаться с нами

Задать новый вопрос

Как это работает?