Как работает потоковая генерация токенов в GigaChat API?

Потоковая генерация токенов в GigaChat API позволяет обрабатывать ответ по мере его генерации. developers.sber.ru При включении этого режима GigaChat передаёт токены в потоке коротких сообщений, формат которых соответствует протоколу server-sent events. developers.sber.ru Последним в потоке будет событие data: [DONE]. developers.sber.ru

Чтобы включить потоковую генерацию токенов, в запросе POST /chat/completions нужно передать параметр «stream»: true. developers.sber.ru

Запуск потоковой генерации в Python-библиотеках gigachat и langchain-gigachat отличается: developers.sber.ru

• Для библиотеки gigachat нужно использовать метод stream(). developers.sber.ru developers.sber.ru
• Для библиотеки langchain-gigachat нужно унаследоваться от класса BaseCallbackHandler и инициализировать модуль GigaChat в режиме обработки потока токенов streaming=True. developers.sber.ru