Как работает потоковая обработка данных в Polars?

Потоковая обработка данных в Polars позволяет обрабатывать большие наборы данных по частям. www.analyticsvidhya.com Такой подход сокращает использование памяти и подходит для анализа данных в режиме реального времени. www.analyticsvidhya.com

Процесс происходит следующим образом: библиотека проходит по данным и обрабатывает каждую партию по очереди. www.rhosignal.com Размер партий определяется количеством процессоров на машине и объёмом памяти, который требует каждая строка запроса. www.rhosignal.com

Потоковая обработка включается только при использовании ленивого режима. www.rhosignal.com Нужно явно указать Polars, что нужно использовать потоковый движок, передав параметр streaming=True при оценке ленивого выражения. www.rhosignal.com codecut.ai

Не все ленивые запросы можно выполнить в потоковом режиме. www.rhosignal.com Если попытаться выполнить запрос, который нельзя обработать в потоковом режиме, то по умолчанию Polars запустит его с помощью стандартного движка. www.rhosignal.com