Какие методы оценки экспертов используются в профессиональных сообществах?

Некоторые методы оценки экспертов, которые используются в профессиональных сообществах:

• Априорные методы. spravochnick.ru Предполагают отказ от использования информации о результатах участия эксперта в предшествовавших экспертизах. spravochnick.ru К ним относятся, например, методы самооценивания, когда эксперт сам формулирует оценку своим качествам. spravochnick.ru Также используются методы взаимной оценки, когда эксперты оценивают друг друга. spravochnick.ru Ещё один метод —  документационный, или анкетный. spravochnick.ru Он заключается в работе с объективными характеристиками, которые имеют документальное подтверждение (например, стаж работы, ученая степень, учёное звание, занимаемая должность, количество публикаций, индекс цитирования и т. п.). spravochnick.ru
• Апостериорные методы. spravochnick.ru Базируются на информации о результатах участия эксперта в предыдущих экспертизах. spravochnick.ru Один из таких методов —  метод парных сравнений. spravochnick.ru Он направлен на оценку компетентности путём подсчёта противоречий, допущенных экспертом в своих оценках. spravochnick.ru
• Тестовые методы. spravochnick.ru Предполагают проведение специального испытания. spravochnick.ru В рамках таких методов испытуемый эксперт выполняет некоторое заранее подготовленное задание. spravochnick.ru Так устанавливается наличие у эксперта определённого профессионального уровня, необходимых навыков и опыта. spravochnick.ru

В профессиональных виртуальных сообществах для оценки экспертности участников используются, например, анализ социальных графов и методы машинного обучения. cyberleninka.ru Один из подходов заключается в оценке экспертности на основе информации об ответах пользователя на просьбы о помощи, пользовательских оценок его ответов и на собственных просьбах этого пользователя о помощи. cyberleninka.ru