Разница между словами «гольфы» и «гольф» заключается в значении.

Гольф — игра, участники которой клюшкой загоняют мяч в лунки. 5

Гольфы (обычно во множественном числе) — короткие чулки с резинкой, охватывающей ногу под коленом, или короткие брюки с манжетами, застёгивающимися под коленом. 23

Таким образом, слово «гольфы» имеет отношение к одежде, а «гольф» — к игре.