Какие преимущества имеет формат safetensors перед другими форматами хранения данных?

Некоторые преимущества формата safetensors перед другими форматами хранения данных:

• Безопасность. 13 В отличие от традиционных форматов сериализации, таких как pickle, safetensors хранит только числовые тензоры и их метаданные. 3 Это ограничивает возможности для выполнения вредоносного кода. 1
• Скорость. 1 Формат оптимизирован для производительности, позволяет читать данные без копирования. 1 Это значит, что тензоры можно получать напрямую из файла, не загружая весь файл в память. 1
• Простота. 1 Формат прост в использовании, предоставляет простой API для хранения и загрузки тензоров. 1
• Совместимость. 1 safetensors разработан для работы с существующими платформами глубокого обучения, что позволяет разработчикам интегрировать его в свои проекты без значительных изменений кода. 1
• Оптимизация размера файла. 2 Формат уменьшает размер тензоров, что может быть полезно для хранения и передачи. 2
• Поддержка ленивой загрузки. 4 В распределённых настройках (многоузловых или с несколькими графическими процессорами) safetensors позволяет загружать только часть тензоров, что значительно ускоряет время загрузки модели. 4