Как работает потоковая обработка данных в Polars?

Потоковая обработка данных в Polars позволяет обрабатывать большие наборы данных по частям. 1 Такой подход сокращает использование памяти и подходит для анализа данных в режиме реального времени. 1

Процесс происходит следующим образом: библиотека проходит по данным и обрабатывает каждую партию по очереди. 2 Размер партий определяется количеством процессоров на машине и объёмом памяти, который требует каждая строка запроса. 2

Потоковая обработка включается только при использовании ленивого режима. 2 Нужно явно указать Polars, что нужно использовать потоковый движок, передав параметр streaming=True при оценке ленивого выражения. 25

Не все ленивые запросы можно выполнить в потоковом режиме. 2 Если попытаться выполнить запрос, который нельзя обработать в потоковом режиме, то по умолчанию Polars запустит его с помощью стандартного движка. 2