Как работает технология обнаружения водяных знаков в текстах?

Технология обнаружения водяных знаков в текстах, например разработанная OpenAI для распознавания текста, сгенерированного ChatGPT, работает на основе встраивания невидимых символов Unicode в текст. dzen.ru

Процесс происходит так: языковые модели, генерирующие текст, предсказывают, какие «токены» (слова или части слов) должны появиться следующими в предложении. bypass.hix.ai Чтобы добавить водяные знаки, OpenAI может контролировать, какие токены использовать, тем самым достигая определённых шаблонов в качестве водяных знаков. bypass.hix.ai

Например, модель GPT-o3 встраивает в текст узкий неразрывный пробел (U+202F). dzen.ru Такой символ не отображается в обычных текстовых редакторах и не виден при чтении, но может быть обнаружен технически: dzen.ru

• через просмотр невидимых символов в редакторах кода (Sublime Text, VS Code); dzen.ru
• с помощью онлайн-сервисов анализа символов; dzen.ru
• путём экспорта текста в формат, отображающий управляющие знаки (например, Markdown или HTML). dzen.ru

Детектор даёт оценку вероятности того, что весь документ или его часть написаны ChatGPT. habr.com По данным компании, этот метод эффективен на 99,9%, если ChatGPT создаёт достаточный объём нового текста. habr.com