Некоторые части теоретического машинного обучения, которые ещё не были внедрены в прикладное машинное обучение:

• Изучение разреженного словаря. 2 Это метод изучения объектов, при котором обучающий пример представляется в виде линейной комбинации базисных функций. 2 Метод сильно NP-сложный, и его трудно решить приближённо. 2
• Обнаружение функций. 2 Задачи машинного обучения, такие как классификация, часто требуют ввода данных, удобных с математической и вычислительной точек зрения для обработки. 2 Однако данные реального мира, такие как изображения, видео и сенсорные данные, не привели к попыткам алгоритмического определения конкретных функций. 2 Альтернативой является обнаружение таких функций или представлений путём исследования, не полагаясь на явные алгоритмы. 2

Также ключевые исследования в области машинного обучения сфокусированы на разработке систем глубокого обучения с эффективным использованием данных. 4 Такие системы могут обучаться более эффективно, с той же производительностью, за меньшее время и с меньшими объёмами данных. 4