Почему существует такое расхождение в количестве слов между разными словарями?

Расхождение в количестве слов между разными словарями может возникать по нескольким причинам:

• Разные типы словарей имеют различные задачи. gramota.ru Дескриптивные словари стремятся зафиксировать всё лексическое богатство и многообразие определённой сферы. gramota.ru Прескриптивные словари, наоборот, ориентированы на строгую норму и создают определённый стандарт, поэтому их охват слов и количество вариантов меньше. gramota.ru
• Со временем меняется словарный состав языка. www.bolshoyvopros.ru Появляются новые слова, какие-то исчезают, для каких-то слов появляются новые значения, которые оформляются в отдельную статью. www.bolshoyvopros.ru
• Составители по-разному относятся к диалектам. www.bolshoyvopros.ru Некоторые включают их в словарь, другие нет. www.bolshoyvopros.ru
• В разные словари попадают разные пласты лексики. gramota.ru Например, в последние десятилетия наметилась тенденция включать в нормативные словари жаргонную и просторечную лексику. gramota.ru
• На научное творчество лексикографов влияют их взгляды на язык. gramota.ru

Таким образом, расхождение в количестве слов между разными словарями связано с разными подходами к составлению и разными критериями отбора лексики.