Несколько способов избежать дублирования данных при использовании оператора INSERT INTO SELECT:

• Использовать уникальный ключ. 1 Например, в MySQL для этого нужно применить синтаксис: INSERT INTO ваша_таблица (уникальный_столбец, столбец1) VALUES ('уникальное_значение', 'значение1') ON DUPLICATE KEY UPDATE уникальный_столбец = уникальный_столбец. 1 Так строка будет добавлена только если существующей записи с таким уникальным ключом нет. 1
• Применить INSERT IGNORE. 13 Если запись не дублирует существующую, то оператор вставит её как обычно. 3 Если же запись — дубликат, то ключевое слово IGNORE указывает оператору молча отбросить её, не генерируя ошибку. 3
• Использовать REPLACE INTO. 1 В отличие от INSERT INTO, команда REPLACE INTO удаляет существующую запись и создаёт новую. 1
• Применить NOT EXISTS. 15 Этот метод проверяет на отсутствие записи перед вставкой. 1 Например, пример кода для MySQL: INSERT INTO ваша_таблица (уникальный_столбец, столбец1) SELECT 'уникальное_значение', 'значение1' FROM DUAL WHERE NOT EXISTS ( SELECT 1 FROM ваша_таблица WHERE уникальный_столбец = 'уникальное_значение' ) LIMIT 1. 1

Выбор метода зависит от конкретной ситуации и предпочтений разработчика.