Мозг отличает зрительную память от слуховой пространственно. 1 Стимуляция нейронов затылочных долей вызывает зрительные ощущения, височных — слуховые, постцентральной извилины — тактильные и глубинные ощущения. 1

Также считается, что мозгу нет необходимости что-то отличать, так как любое воспоминание — это конструирование заново по аналогам, а алгоритм этого конструирования зависит от того, какие зоны мозга в данный момент стимулируются. 1

Ещё есть мнение, что одна и та же информация хранится сразу везде, и хранилища разных видов не нужны, так как для мозга существуют только сигналы, которые поступают в него по нервным каналам. 1

При этом у разных людей зрительная и слуховая память могут отличаться по объёму: например, у некоторых она эффективнее работает в зрительной модальности. 4