Разница между экслибрисом, вензелем и буквицей заключается в их значениях и сферах применения:
Экслибрис (от лат. ex libris — «из книг») — книжный знак, который удостоверяет владельца книги. ru.wikipedia.org ru.ruwiki.ru Обычно на экслибрисе обозначены имя и фамилия владельца и рисунок, говорящий о профессии, интересах или о составе библиотеки владельца. ru.wikipedia.org ru.ruwiki.ru
Вензель — художественно переплетённая монограмма, начальные буквы имени и фамилии, часто с дополнительными элементами: коронами, венками, декоративными росчерками. {6-host} {8-host} Вензель может использоваться в геральдике, на фамильных печатях, документах и в других контекстах. {10-host}
Буквица (инициал) — крупная, отличная от прочих, первая буква главы, раздела или целой книги. ru.wikipedia.org Также буквицей могут называть древний алфавит, который представляет собой видоизменённую кириллицу с добавлением нескольких символов из других алфавитов. ru.wikipedia.org
Таким образом, экслибрис связан с книжными знаками и владельцами книг, вензель — с монограммами и их оформлением, а буквица — с началом текста.