Как работает механизм обучения с подкреплением в нейросетях Q-learning?

Механизм обучения с подкреплением в нейросетях, в том числе Q-learning, работает на основе взаимодействия агента с окружающей средой. www.mql5.com

Агент анализирует текущее состояние среды и совершает действие, в результате которого изменяется её состояние. www.mql5.com Среда в ответ на действие возвращает агенту вознаграждение. www.mql5.com Агенту неизвестна природа формирования вознаграждения, его цель — получить максимально возможное суммарное вознаграждение за анализируемую сессию. www.mql5.com

Вознаграждение агент получает не за действие, а за переход из одного состояния в другое. www.mql5.com При этом совершение определённого действия в аналогичной ситуации не гарантирует перехода в то же состояние. www.mql5.com Совершение действия даёт лишь некоторую вероятность перехода в ожидаемое состояние. www.mql5.com

Обучение с подкреплением строится на предположении существования зависимости между текущим состоянием, совершённым действием и вознаграждением. www.mql5.com

Процесс обучения происходит следующим образом: habr.com

1. Нейросеть принимает решение о действии агента. habr.com На вход она принимает состояние среды, а на выходе выдаёт значения Q-функции. habr.com
2. В зависимости от выхода нейросети совершается действие, которому соответствует наибольшее значение выхода. habr.com
3. Каждый сделанный шаг, предыдущее и текущее состояния среды и полученную награду записывают в память, чтобы потом сформировать из этого набора данных выборку. habr.com
4. Нейросеть обучают методом обратного распространения ошибки. habr.com

Обучение с подкреплением отличается от других методов машинного обучения тем, что здесь нет явно заданных правильных ответов — агент должен самостоятельно открывать оптимальные стратегии через проб и ошибок. ssl-team.com