Некоторые методы оценки экспертов, которые используются в профессиональных сообществах:
- Априорные методы. 1 Предполагают отказ от использования информации о результатах участия эксперта в предшествовавших экспертизах. 1 К ним относятся, например, методы самооценивания, когда эксперт сам формулирует оценку своим качествам. 1 Также используются методы взаимной оценки, когда эксперты оценивают друг друга. 1 Ещё один метод — документационный, или анкетный. 1 Он заключается в работе с объективными характеристиками, которые имеют документальное подтверждение (например, стаж работы, ученая степень, учёное звание, занимаемая должность, количество публикаций, индекс цитирования и т. п.). 1
- Апостериорные методы. 1 Базируются на информации о результатах участия эксперта в предыдущих экспертизах. 1 Один из таких методов — метод парных сравнений. 1 Он направлен на оценку компетентности путём подсчёта противоречий, допущенных экспертом в своих оценках. 1
- Тестовые методы. 1 Предполагают проведение специального испытания. 1 В рамках таких методов испытуемый эксперт выполняет некоторое заранее подготовленное задание. 1 Так устанавливается наличие у эксперта определённого профессионального уровня, необходимых навыков и опыта. 1
В профессиональных виртуальных сообществах для оценки экспертности участников используются, например, анализ социальных графов и методы машинного обучения. 5 Один из подходов заключается в оценке экспертности на основе информации об ответах пользователя на просьбы о помощи, пользовательских оценок его ответов и на собственных просьбах этого пользователя о помощи. 5