Как работает механизм импорта в Битрикс для больших объемов данных?

Механизм импорта в «Битрикс» для больших объёмов данных включает несколько этапов: habr.com

1. Передача файлов на сервер. habr.com Если объём данных большой, для оптимизации передачи файлов используется ZIP-сжатие. habr.com Все файлы упаковываются в один архив, который отправляется на сайт. habr.com Если сжатие не поддерживается, файлы отправляются последовательно. habr.com
2. Разбиение файлов на порции. habr.com Если размер выгружаемого файла превышает максимально допустимый, он разбивается на порции. habr.com На стороне сайта происходит приём пронумерованных порций и их сборка обратно в единый файл. habr.com
3. Обработка файлов на стороне сайта. habr.com Обработкой (разбором XML и загрузкой в базу) занимается PHP-скрипт, время работы которого обычно лимитировано. habr.com В настройках «Битрикс» можно указать максимальное время, которое может отработать скрипт. habr.com По умолчанию это 30 секунд. habr.com При достижении лимита скрипт будет перезагружен и продолжит импорт с предыдущей позиции в файле. habr.com
4. Сравнение контрольных сумм. habr.com Скрипт импорта может сравнивать контрольные суммы XML-описания товаров в обрабатываемом файле с контрольной суммой этого товара в базе с момента предыдущей загрузки. habr.com Если контрольные суммы совпадают, то товар пропускается и не обновляется. habr.com

При работе с большими объёмами данных есть ограничения: размер файла — до 100 МБ через веб-интерфейс, количество записей — до 50 000 за один импорт. b24.org.ru