Как работает технология обнаружения водяных знаков в текстах?

Технология обнаружения водяных знаков в текстах, например разработанная OpenAI для распознавания текста, сгенерированного ChatGPT, работает на основе встраивания невидимых символов Unicode в текст. 1

Процесс происходит так: языковые модели, генерирующие текст, предсказывают, какие «токены» (слова или части слов) должны появиться следующими в предложении. 2 Чтобы добавить водяные знаки, OpenAI может контролировать, какие токены использовать, тем самым достигая определённых шаблонов в качестве водяных знаков. 2

Например, модель GPT-o3 встраивает в текст узкий неразрывный пробел (U+202F). 1 Такой символ не отображается в обычных текстовых редакторах и не виден при чтении, но может быть обнаружен технически: 1

• через просмотр невидимых символов в редакторах кода (Sublime Text, VS Code); 1
• с помощью онлайн-сервисов анализа символов; 1
• путём экспорта текста в формат, отображающий управляющие знаки (например, Markdown или HTML). 1

Детектор даёт оценку вероятности того, что весь документ или его часть написаны ChatGPT. 3 По данным компании, этот метод эффективен на 99,9%, если ChatGPT создаёт достаточный объём нового текста. 3