Лексический анализ в естественных языках и в языках программирования имеет некоторые отличия.
В естественных языках лексический анализ заключается в распознавании лексем во входном потоке символов, например, для построения пакетного редактора или в качестве распознавателя директив в диалоговой программе. 2
В языках программирования лексический анализ выполняет первую стадию компиляции — читает строки компилируемой программы, выделяет лексемы и передаёт их на дальнейшие стадии компиляции (грамматический разбор, кодогенерацию и т. д.). 12 При этом лексический анализатор распознаёт тип каждой лексемы и соответствующим образом помечает её. 1
Таким образом, основное отличие в том, что естественные языки используются для общения людей между собой, а языки программирования — для передачи команд и данных от человека компьютеру. 12