Экспертная оценка

Добавлено в закладки: 0

Что такое экспертная оценка? Описание и определение понятия.

Экспертная оценка –  это оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить любые точные науки, поэтому оценка проводится на основании профессионального опыта специалиста, как одного, тогда экспертная оценка будет индивидуальной, так и нескольких, тогда экспертная оценка будет коллективной. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и так далее. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития или изменения ситуации, процесса, предмета.

Рассмотрим, более детально, что значит экспертная оценка .

Экспертная оценка – это диагностический метод измерения, процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения(выбора).

Виды экспертных оценок

Выделяют две группы экспертных оценок:

• Индивидуальные оценки (основываются на использовании мнения независимых друг от друга отдельных экспертов).
• Коллективные оценки (основываются на использовании только коллективного мнения экспертов).

Совместное (коллективное) мнение, безусловно, обладает наибольшей точностью, по сравнению с индивидуальным мнением каждого отдельного специалиста.

Этот метод применяется для получения количественных оценок и качественных характеристик и свойств.

Методы экспертных оценок

Существует несколько методов экспертных оценок:

1. Метод ассоциаций. Этот метод основывается на изучении похожего по свойствам объекта с другим объектом.
2. Метод парных (или бинарных) сравнений. Это метод основывается на том, что эксперт четко сопоставляет альтернативные варианты, из которых надо выбрать наиболее подходящие или предпочтительные.
3. Метод векторов предпочтений. Это метод, при котором эксперт анализирует весь возможный набор альтернативных вариантов и выбирает наиболее предпочтительные из них.
4. Метод фокальных объектов. Этот метод основывается на перенесении признаков случайно (рандомно) отобранных аналогов на исследуемый объект.
5. Индивидуальный экспертный опрос. Это своего рода интервью или опрос в виде анализа экспертных оценок. Индивидуальный экспертный опрос подразумевает диалог между экспертом и заказчиком, в ходе которого заказчик ставит перед экспертом вопросы, ответы на которые очень существенны для достижения программных целей.
6. Под анализом экспертных оценок подразумевается, что эксперт заполняет индивидуально разработанный заказчиком формуляр, по результатам которого и производится всесторонний анализ проблемной ситуации, а также рассматриваются все возможные пути её решения. Эксперт выносит все свои соображения по данному вопросу в виде отдельного письменного документа.
7. Метод средней точки. Это метод основывается на том, что в процессе экспертной оценки формулируются два альтернативных варианта решения, один из которых менее предпочтителен, а другой, наоборот более предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена посередине, то есть между значений первой и второй альтернативы.

Этапы экспертного оценивания

Выделяют несколько этапов:

• Ставится цель исследования.
• Выбирается форма исследования и определяется бюджет проекта.
• Подготовительный этап ( в него включается процесс сбора всего необходимого: информационных материалов, бланков анкет, модератора процедуры и так далеее).
• Тщательно подбираются компетентные эксперты.
• Проведение самой экспертизы.
• Проводится полный анализ результатов (то есть обрабатываются экспертные оценки).
• Подготавливается и составляется отчет с результатами экспертного оценивания.

Постановка цели исследования

Перед тем как начать экспертное исследование, очень важно четко определить его цель (или проблему) и сформулировать соответствующий вопрос для экспертов.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по разным признакам:

1. По форме участия экспертов: заочное или очное. Если говорить о достоверности результатов, то очный метод экспертной оценки считается более качественным, так как он позволяет сосредоточить все внимание экспертов на решаемой проблеме, однако заочный метод тоже имеет свой огромный плюс – он может быть значительно дешевле, чем очный метод.
2. По количеству итераций (или повторов процедуры для повышения точности экспертной оценки) — различают итерационные (то есть много повторов) и одношаговые.
3. По решаемым задачам экспертные оценки подразделяются на генерирующие решения и оценивающие варианты.
4. По типу ответа экспертные оценки делятся на: ранжирующие, идейные, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические экспертные оценки.
6. По количеству привлекаемых экспертов: ограниченные или без ограничения. Обычно на практике используется от пяти до двенадцати человек экспертов.

Перечислим наиболее известные методы экспертных оценок:

• метод Дельфи,
• мозговой штурм и
• метод анализа иерархий.

У каждого метода существуют свои сроки проведения, а также потребность в экспертах. После того, как был выбран метод экспертного оценивания можно уже определять затраты на процедуру экспертной оценки – сюда включается оплата услуг экспертов, аренда помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы и так далее, тому подобное.

Подготовка информационных материалов

Эксперты перед вынесением суждения должны тщательно и с разных сторон рассмотреть представленную проблему. Для этого необходимо подготовить информационные материалы с описанием проблемы, уже имеющиеся статистические данные, справочные материалы, бланки анкет, а также инвентарь.

Стоит избегать следующих ошибок: упоминать разработчиков материалов, каким-то образом выделять тот или иной вариант решения или намекать на него, выражать (прямо или косвенно) отношение руководства к ожидаемым результатам. Данные должны быть разносторонние, а мнения и суждения экспертов непредвзятые и нейтральные. Необходимо заранее разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или же в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который обязательно контролирует соблюдение регламента, раздает необходимые материалы и анкеты, но сам своё мнение не высказывает.

Подбор экспертов

Эксперты должны быть компетентными в данных вопросах, а также должны обладать определенным опытом в областях, соответствующих решаемым задачам. При подборе экспертов желательно учитывать момент личной заинтересованности, который может стать очень существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран весь необходимый коллектив. При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Обычно к эксперту предъявляются такие требования:

1. уровень общей эрудиции должен быть высокий;
2. оценки эксперта должны быть стабильны во времени;
3.  эксперт должен владеть дополнительной информацией, что будет только подтверждать его оценку по данному вопросу;
4. у эксперта должен быть богатый исследовательский и практический опыт, а также репутация признанного специалиста в данной области знаний;
5.  далеко не последнюю роль играет наличие психологической установки на будущее;
6.  эксперт должен обладать способностью к адекватному отображению тенденций развития исследуемого объекта;
7.  и последнее — эксперт не должен быть незаинтересован в каком-то определенном или конкретном результате прогноза.

Проведение экспертизы

Проведение экспертизы может отличаться от случая к случаю в зависимости от того, какой метод был выбран для использования. Общие рекомендации по этому вопросу следующие:

• Необходимо препятствовать давлению авторитетов (эксперт, как правило, часто боится противоречить мнению большинства или, например, наиболее уважаемого специалиста).
• Необходимо установить и жестко соблюдать установленный регламент. Замечено, что увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
• Анализ результатов (или обработка экспертных оценок).

Основные этапы обработки экспертных оценок:

1. определение компетентности приглашенных экспертов;
2. определение их обобщенной оценки;
3. построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив;
4. определение зависимостей между ранжировками;
5. оценка степени согласованности мнений экспертов. Если значимая согласованность экспертов отсутствует, то необходимо во-первых выявить причины несогласованности, а во-вторых – признать отсутствие согласованного мнения (это так сказать ничтожные результаты);
6. оценка ошибки исследования;
7. построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
8. подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

Подходы к  экспертным оценкам

Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.

Методы экспертных оценок основаны на использовании экспертной информации. Они помогают установить степень сложности и актуальности проблемы, определить основные цели и критерии, выявить важные факторы и взаимосвязи между ними, выбрать наиболее предпочтительные альтернативы.

Прогнозные экспертные оценки – они отражают индивидуальность суждения каждого из специалистов относительно эффективности, безопасности, расхода ресурсов, а также перспектив развития объекта. Основаны прогнозные экспертные оценки как правило на мобилизации профессионального опыта и интуиции экспертов.

Интуитивные (или экспертные) методы исследований используются для анализа и диагностики состояния, для последующего прогнозирования вариантов развития объектов (особенно в тех случаях, где обьект не поддается предметному описанию или математической формализации;

Также интуитивные методы используются когда нет достаточной и достоверной статистики по характеристикам исследуемого объекта, или в условиях большой неопределенности среды функционирования объекта, например,рыночной среды или в экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Кроме того, известны два подхода к использованию экспертов: индивидуальные оценки и групповые.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы, которая решается.

Методы получения индивидуального мнения членов экспертной группы основываются на том, что сначала получают предварительную информацию от экспертов, которых опрашивают независимо друг от друга, а потом полученные данные обрабатываются.

Индивидуальные мнения экспертов состоят в том, что каждый из них дает оценку независимо от других, а затем с помощью какого-либо приема эти оценки объединяются в одну общую оценку. Представляются индивидуальные экспертные оценки в виде оценок типа интервью или в виде аналитических записок.

Коллективные методы экспертизы основываются на групповой работе экспертов и получении суммарной оценки от всей группы специалистов в целом. Среди коллективных методов самым распространенным является метод мозговой атаки (это метод коллективной генерации идей или же метод группового рассмотрения с отнесенной оценкой), а также и метод Дельфи.

Следует заметить, что основной задачей экспертной оценки является максимальное приближение к истине. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.

После того, как эксперты выносят свою оценку, исследователь проверяет индивидуальные суждения экспертов, анализирует совокупности мнений экспертов с целью установления степени согласованности их между собой, а   в случае наличия существенных расхождений в оценках выявляет причины разных мнений и определяет влияние компетентности экспертов на содержание их оценок и обоснований.

Экспертные ошибки

Реальность такова, что экспертные ошибки встречаются довольно часто. Но все же стоит помнить, что экспертные ошибки — это результат добросовестного заблуждения эксперта. Причины экспертных ошибок могут быть объективными, то есть не зависящими от эксперта как субъекта экспертного исследования, и субъективными, то есть коренящимися в образе мышления и (или) действиях самого эксперта. Ошибки могут быть обнаружены самим экспертом в ходе работы, комиссией экспертов при обсуждении результатов исследования или руководителем экспертного учреждения.

Характеризуя экспертов, стоит учитывать, что в результате выработки оценок могут иметь место ошибки двух видов:

1.  систематические ошибки. Если эксперт склонен к систематическим ошибкам, он выдает значения, которые устойчиво отличаются от истинного в сторону или увеличения или уменьшения. Предполагается, что такие ошибки связаны в первую очередь со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.
2.  случайные ошибки. Случайные ошибки могут изменяться от одной экспертной оценки к другой и характеризуются они величиной дисперсии.

Повторная экспертная оценка

Если возникает потребность в проведении повторной экспертизы, то стоит учесть некоторые моменты. Например, при повторной экспертизе решаются те же самые вопросы и исследуются те же самые объекты, что и при первичной, но уже другими экспертами. Оценка заключения повторной экспертизы проходит те же этапы, что и оценка первичной экспертной оценки. Причем как само заключение, так и выводы повторной экспертизы не имеют абсолютно никаких преимуществ по отношению к первичной, несмотря на возможные расхождения как в применяемых методах, средствах, методиках, так и в полученных результатах и в сформулированных выводах. И то, и другое заключения должны быть все также оценены с позиций относимости, допустимости, достоверности и достаточности.

Применимость метода экспертных оценок

Экспертные оценки применяются на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации какиех-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка  решений не могут быть выполнены на основе точных расчетов.

Мы коротко рассмотрели экспертная оценка, ее этапы, методы и виды, а также ошибки

Оставляйте свои комментарии или дополнения к материалу.