Использовать методы, понимающие разреженные матрицы. ru.stackoverflow.com Например, убрать StandardScaler и найти быструю замену функции distance.cdist, которая понимает разреженные матрицы (например, NMSLIB или другие подобные библиотеки). ru.stackoverflow.com
На этапе обучения создавать структуры данных. yandex.ru Это поможет упорядочить набор обучающих данных и ускорить поиск ближайших соседей. yandex.ru
Уменьшить количество потенциальных ближайших соседей. cyberleninka.ru Например, сравнивать только тексты, имеющие общие термины, нет смысла сравнивать тексты, которые не имеют никаких связей. cyberleninka.ru
Использовать двоичную кучу. cyberleninka.ru Для каждого текста хранить его ближайшие соседи в двоичной куче, корень которой есть самый ближайший сосед. cyberleninka.ru
Выбор метода ускорения работы классификатора KNN зависит от конкретной ситуации.
Примеры полезных ответов Поиска с Алисой на вопросы из разных сфер. Вопросы сгенерированы нейросетью YandexGPT для актуальных тем, которые определяются на базе обобщённых запросов к Поиску с Алисой.