Разница между разговорным выражением и нейтральным заключается в их стилистической окраске и контексте употребления.
Разговорная лексика ориентирована на неформальное общение, обычно в условиях межличностной коммуникации. otvet.mail.ru Ей присуща сниженная экспрессивная окраска, которая варьируется от дружески-фамильярной до грубо-фамильярной и даже бранной. otvet.mail.ru К разговорной лексике относятся, например, ласкательные слова (дочурка, голубушка), шутливые (бутуз, смешинка), а также слова, выражающие отрицательную оценку называемых понятий (мелюзга, ретивый, хихикать, бахвалиться). orfogrammka.ru
Нейтральная лексика — общеупотребительная, предназначена для констатирующего, безоценочного обозначения предметов, понятий повседневной жизни, явлений природы, периодов жизни человека и состояний его жизнедеятельности, отрезков времени, мер длины, веса, объёма и т. п.. otvet.mail.ru Такая лексика лишена экспрессии, эмоциональных и социальных оценок. otvet.mail.ru
Пример: слово «глаза» — нейтральная лексика, а в разговорной речи для обозначения части лица человека используют «моргалы», «мигалки», «гляделки» и т. п.. otvet.mail.ru