Не напрямую связано, имеют ли новые LLMs больший словарь, чем старые модели, но новые LLMs обычно имеют больше параметров, чем их предшественники. 3

Параметры — это численные значения, которые LLM учится во время обучения и использует для понимания языка. 3 Некоторые модели содержат сотни тысяч, миллионы, миллиарды или даже триллионы параметров. 3

Большее количество параметров позволяет новым LLMs:

• захватить более сложные языковые отношения; 3
• обрабатывать более тонкие подсказки. 3

Также новые модели часто обучаются на более крупных наборах данных. 23 Чем больше данных использует LLM, тем лучше она адаптируется к новым данным. 2