Отличие между состояниями NEW, ESTABLISHED и RELATED в iptables заключается в характере пакетов, которые они обозначают: 13

1. NEW — соединение не открыто, то есть пакет является первым в соединении. 1 Это состояние соответствует пакету, который создаёт новое соединение или является частью двустороннего соединения, не видевшего пакетов в обоих направлениях. 5
2. ESTABLISHED — пакет относится к уже установленному соединению. 1 Для перехода в это состояние необходимо, чтобы узел сети передал пакет и получил на него ответ от другого узла (хоста). 4 Обычно такие пакеты принимаются без дополнительной фильтрации. 1
3. RELATED — пакет открывает новое соединение, логически связанное с уже установленными. 13 Например, открытие канала данных в пассивном режиме FTP. 13

Таким образом, NEW обозначает новые соединения, ESTABLISHED — установленные, а RELATED — соединения, связанные с уже установленными.