Механизм импорта в «Битрикс» для больших объёмов данных включает несколько этапов: habr.com
- Передача файлов на сервер. habr.com Если объём данных большой, для оптимизации передачи файлов используется ZIP-сжатие. habr.com Все файлы упаковываются в один архив, который отправляется на сайт. habr.com Если сжатие не поддерживается, файлы отправляются последовательно. habr.com
- Разбиение файлов на порции. habr.com Если размер выгружаемого файла превышает максимально допустимый, он разбивается на порции. habr.com На стороне сайта происходит приём пронумерованных порций и их сборка обратно в единый файл. habr.com
- Обработка файлов на стороне сайта. habr.com Обработкой (разбором XML и загрузкой в базу) занимается PHP-скрипт, время работы которого обычно лимитировано. habr.com В настройках «Битрикс» можно указать максимальное время, которое может отработать скрипт. habr.com По умолчанию это 30 секунд. habr.com При достижении лимита скрипт будет перезагружен и продолжит импорт с предыдущей позиции в файле. habr.com
- Сравнение контрольных сумм. habr.com Скрипт импорта может сравнивать контрольные суммы XML-описания товаров в обрабатываемом файле с контрольной суммой этого товара в базе с момента предыдущей загрузки. habr.com Если контрольные суммы совпадают, то товар пропускается и не обновляется. habr.com
При работе с большими объёмами данных есть ограничения: размер файла — до 100 МБ через веб-интерфейс, количество записей — до 50 000 за один импорт. b24.org.ru