В чем заключается применение квадратичных форм в криптографии?

Возможно, имелись в виду латинские квадраты и квадратичные решётки в контексте криптографии. cyberleninka.ru interactive-plus.ru

Латинские квадраты используются для построения шифров, например, для многоалфавитного шифрования. cyberleninka.ru interactive-plus.ru Так, в шифре Тритемия первая буква открытого текста шифруется первым алфавитом (первой строкой таблицы), вторая — вторым и так далее. cyberleninka.ru interactive-plus.ru

Квадратичная решётка — ключ к определённому шифру. www.rv-lab.ru Стороны такой решётки содержат чётное число ячеек. www.rv-lab.ru Чтобы зашифровать текст, решётка с прорезями накладывается на расчерченный квадрат, после чего буквы текста последовательно записываются в прорези. www.rv-lab.ru

Ещё один пример —  «Квадрат Полибия». ru.wikipedia.org Это квадрат 5×5, столбцы и строки которого нумеруются цифрами от 1 до 5. ru.wikipedia.org В каждую клетку квадрата записывается одна буква, расположенная в алфавитном порядке. ru.wikipedia.org В результате каждой букве соответствует пара чисел, и шифрованное сообщение превращается в последовательность пар чисел. ru.wikipedia.org Расшифровывается путём нахождения буквы, стоящей на пересечении строки и столбца. ru.wikipedia.org