Прогресс в машинном обучении идёт постоянно. 1 По мнению некоторых экспертов, большие прорывы происходят примерно раз в 5–7 лет. 1

Например, к таким достижениям относят:

• использование марковских случайных полей в задачах машинного обучения (в первой половине нулевых); 1
• применение глубоких нейронных сетей для анализа изображений (с 2012 года); 1
• изобретение архитектуры Transformer для анализа последовательностей (с 2017 года). 1

Также исследователи из OpenAI показали, что с 2012 года, после победы AlexNet на конкурсе Imagenet, рост затрачиваемой на обучение вычислительной мощности происходит очень быстро: если раньше она удваивалась каждые два года, то с 2012 года удвоение происходит уже каждые 3–4 месяца. 5