Импакт-фактор считается неоднозначным показателем оценки научных журналов по нескольким причинам:
- Зависимость от области науки. 3 Например, журнал по менеджменту с импакт-фактором 2 будет не самым лучшим, при этом для исторического журнала тот же показатель будет причиной для гордости. 3
- Негибкие границы областей науки. 3 Если статья не совпадает с профилем журнала, то она не учитывается в подсчёте. 3
- Произвольный временной отрезок «публикационного окна». 3 Обычно он составляет два года, но с учётом того, что разные науки обновляются и развиваются с разной скоростью, этот временной отрезок несовершенен. 3
- Зависимость от выбросов. 3 Вышедшая единожды в журнале статья, набравшая множество цитирований, способна невероятно поднять рейтинг в целом посредственного журнала на ближайшие два года. 3
- Зависимость от типов статей, публикуемых журналом. 3 Обзорные статьи получают обычно больше ссылок, несмотря на то, что в большинстве случае непосредственно исследовательские статьи имеют большую научную ценность. 3
- Возможность искусственного завышения. 4 К методам искусственного завышения импакт-фактора относятся, например, самоцитирование, продажа цитирований, взаимообмен цитированиями среди журналов по договорённости. 4
Таким образом, импакт-фактор не является универсальным показателем качества исследований, а скорее инструментом, специфичным для конкретной области. 5