Как снизить затраты на использование GigaChat API за счет кэширования токенов?

Кэширование токенов позволяет снизить затраты на использование GigaChat API, так как кэшированные токены не подлежат тарификации. developers.sber.ru

Процесс кэширования заключается в том, что модели GigaChat сохраняют токены, созданные на основе предыдущих запросов. developers.sber.ru Когда отправляется новый запрос, перед выполнением вызова API проверяется, похоже ли приглашение на какое-либо из сохранённых в кэше. www.analyticsvidhya.com Если это так, то ответ берётся из кэша вместо отправки запроса модели. www.analyticsvidhya.com

Кэширование также повышает скорость ответа моделей. developers.sber.ru