Как система Антиплагиат обнаруживает заимствования в научных текстах?

Система «Антиплагиат» обнаруживает заимствования в научных текстах с помощью нескольких алгоритмов: www.unkniga.ru habr.com

Для дословного заимствования используется построение инвертированного индекса. www.unkniga.ru Документ из коллекции представляется в виде набора перекрывающих друг друга последовательностей слов определённой длины (n-грамм). www.unkniga.ru Затем документы-кандидаты упорядочиваются в соответствии с выбранной функцией схожести совпавших последовательностей слов. www.unkniga.ru

Для поиска переводных заимствований из англоязычных документов используется следующий алгоритм: www.unkniga.ru habr.com

1. Проверяемый русскоязычный документ переводится на английский язык. habr.com
2. Происходит поиск кандидатов в источники заимствований по проиндексированной коллекции англоязычных документов. habr.com
3. Производится сопоставление каждого найденного кандидата с английской версией проверяемого документа — определение границ заимствованных фрагментов. habr.com
4. Границы фрагментов переносятся в русскоязычную версию документа. habr.com
5. По завершении процесса формируется отчёт о проверке. habr.com

Для обнаружения фрагментов, сгенерированных искусственным интеллектом, в системе «Антиплагиат» используется детектор, который работает на основе алгоритмов искусственного интеллекта. vc.ru Он обучен и протестирован на большом массиве данных, что сводит к минимуму риск ложного срабатывания. vc.ru В основе этой функции лежит ряд признаков, свойственных искусственно сгенерированным текстам. vc.ru