Как работает архитектура GenCAD для генерации CAD-моделей?

Архитектура нейросети GenCAD для генерации CAD-моделей включает четыре компонента: corp.cnews.ru gencad.github.io

1. Авторегрессионный преобразователь-энкодер. corp.cnews.ru Применяется для превращения скрытого представления в последовательность команд CAD. corp.cnews.ru
2. Модель, основанная на контрастном обучении. corp.cnews.ru Используется для изучения совместных представлений скрытых пространств между последовательностями команд CAD и изображениями CAD. corp.cnews.ru
3. Диффузионная модель. corp.cnews.ru Может по изображению генерировать скрытое представление последовательностей команд CAD. corp.cnews.ru
4. Модель декодера. corp.cnews.ru Преобразовывает скрытые данные CAD в последовательность параметрических команд CAD. corp.cnews.ru

Процесс работы: ailibri.com

1. Пользователь загружает картинку детали. ailibri.com
2. Автокодирующий трансформер изучает команды CAD. ailibri.com
3. Контрастное обучение связывает изображения с кодом. ailibri.com
4. Диффузионная модель генерирует новые последовательности команд. ailibri.com
5. Декодер превращает всё это в готовый CAD-файл. ailibri.com

Главное преимущество GenCAD в том, что на выходе модель выдаёт не «трёхмерную болванку», а полноценную CAD-модель, которую можно редактировать, форматировать и отправлять в производство. habr.com