Основные понятия об экспертных оценках.
Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.
Эксперт (от лат. еxpertus – опытный) – это высококвалифицированный специалист.
Формирование состава экспертной комиссии зависит от конкретной ситуации принятия решений, возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов, возможностей специалистов принять участие в работе экспертной комиссии.
Применяют три основные группы методов оценки качеств эксперта: априорные, апостериорные и тестовые.
Априорные методы оценки качеств эксперта не используют информацию о результатах участия в предшествовавших экспертизах. Эта группа включает методы самооценивания, когда эксперт сам дает оценку своим качествам, используя следующие способы:
-самооценка по одной из балльных шкал;
-самооценка с использованием числовых шкал, которые наряду с числовыми значениями градаций содержат их качественное описание;
-самооценка по вербальной шкале, т.е. эксперт, дает словесную оценку своим знаниям, используя качественные градации заранее разработанной шкалы;
-самооценка дифференцированным методом, когда эксперт оценивает свои качества, используя два основных критерия: характеризующий его знакомства с основными источниками информации в данной области; характеризующий его знакомство с объектом экспертизы. При этом способе комплексная самооценка эксперта рассчитывается по формуле:
Кк = (Ки + с × Кз):2,
где Кк – комплексная самооценка эксперта;
Ки – коэффициент информированности;
с – весовой коэффициент;
Кз – коэффициент знакомства с проблемой.
К другой группе априорных методов оценки качеств эксперта относятся: метод взаимной оценки (метод списка экспертов) и документальный (анкетный) метод.
Апостериорные методы оценки качеств эксперта используют результаты его участия в предыдущих опросах. С их помощью могут быть выявлены конформизм, конъюнктурность и компетентность эксперта. Для оценки уровня компетентности может быть применен метод парных сравнений.
Апостериорные методы предполагают также оценку достоверности суждений эксперта. В качестве критерия используется коэффициент достоверности – относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям.
Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки. Он основан на расчете коэффициента отклонения Ко.
Коi = Doi:Dmax,
где Коi – коэффициент отклонения суждений i-го эксперта;
Doi – отклонение индивидуальной оценки i-го эксперта от результирующей оценки;
Dmax – максимально возможное отклонение оценки эксперта от результирующей оценки.
Тестовые методы оценивания качеств эксперта основываются на выполнении испытуемым экспертом заранее подготовленного задания. Достоинство тестовых методов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для эффективного участия в работе экспертной комиссии. Использование тестовых методов позволяет оценить и воспроизводимость экспертных оценок.
Главными задачами экспертных оценок являются:
1. Определение целей.
2. Экстренный прогноз.
3. Сценарии ожидаемого развития ситуации.
4. Генерирование альтернативных вариантов.
5. Определение рейтингов.
6. Оценочные системы.
7. Принятие коллективных решений.
Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертиз и без него и т. д. Характер экспертной информации, которую предполагается использовать принятии решений, налагает определенные требования на выбор конкретного метода экспертизы.