Разница между словами-связками «first of all» и «firstly» заключается в их значении и употреблении:

• «First of all» значит «прежде всего» и используется для подчёркивания важности некоего пункта или действия. 1 Например: «First of all, you need to have some rest, then you can get back to work» — «Прежде всего тебе нужно немного отдохнуть, потом ты сможешь вернуться к работе». 1
• «Firstly» — это наречие, которое используется для введения первого пункта или шага в последовательности. 3 Оно звучит несколько формально и в большинстве случаев стоит в начале предложения. 1 Например: «Firstly, we need to gather all the necessary materials» — «Во-первых, нам нужно собрать все необходимые материалы». 3

В большинстве контекстов эти слова взаимозаменяемы. 3