Основные отличия между libavcodec и libavformat в FFmpeg:

1. libavcodec предоставляет API для декодирования и кодирования, а также все поддерживаемые кодеки. 1
2. libavformat предоставляет API для демультиплексирования и мультиплексирования аудио- и видеоконтейнеров, а также все поддерживаемые мультиплексеры и демультиплексеры. 12

Таким образом, libavformat делает первичную работу, парсит контейнеры и разделяет потоки в контейнере, а libavcodec уже непосредственно декодирует сами аудио- и видеопотоки. 4

Например, с помощью libavformat читаются пакеты, выбираются нужные и передаются для декодирования с помощью libavcodec. 4