V1: Качество, как фактор успеха предприятия в условиях рыночной экономики

V1:Рекомендации международных стандартов ИСО 9000 по обеспечению качества

Эксперт - специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.

Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он.

Таким образом, формирование состава экспертной комиссии зависит от:

· конкретной ситуации принятия решения;

· возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

· возможностей специалистов принять участие в работе экспертной комиссии.

Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы:

· априорные;

· апостериорные;

· тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

· самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной);

· самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

· самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

· самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.).

В этом случае комплексная самооценка эксперта рассчитывается по формуле:

К к = (К и + ß К з) / 2,

где К к - комплексная самооценка эксперта, К и - коэффициент информированности (в долях единицы), К з - коэффициент знакомства с проблемой, ß - весовой коэффициент.

Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки.Этот метод основан на расчете коэффициента отклонения - Ко.

К oi = D oi / D max ,

где К oi - коэффициент отклонения суждений i-го эксперта, D oi - отклонение индивидуальной оценки i-го эксперта от результирующей оценки, D max - максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта. Их суть - выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

· тест должен быть разработан специально под конкретные объекты экспертной оценки;

· истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту;

· должна быть разработана шкала для определения точности оценок, даваемым экспертом;

· вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

Среди методов, применяемых в управлении качеством для решения многих управленческих задач, очень часто используются экспертные методы.

Сначала экспертные методы использовались, в основном, для решения задач, связанных с прогнозированием в области науки и техники, а затем они стали применяться в других областях, в том числе в управлении качеством. Это связано с большим числом возникающих при этом виде управления противоречий, которые во многих случаях невозможно разрешить объективными методами. Экспертные методы также используют в случаях:

Невозможности применения моделирования и описания управляемых объектов формализованными математическими способами;

Отсутствия достаточно достоверной информации;

Информационной неопределенности управляемых объектов;

Разработки средне- и долгосрочных прогнозов влияния законов и закономерностей на управление качеством;

Существования тенденций развития управления качеством и рыночной среды;

Наличия экстремальных ситуаций в управлении качеством.

В таких случаях непереоценимое значение приобретает использование профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Сущность экспертных методов как при решении задач управления качеством, так и при использовании их в практике принятия решений в других областях науки, техники и управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Экспертный метод оценки уровня качества технической продукции используется в тех случаях, когда невозможно или очень затруднительно применить методы объективного определения значений единичных или комплексных показателей качества такими методами как инструментальный, эмпирический или расчетный.

Экспертный метод (или экспертный способ, т.е. метод экспертных оценок) является совокупностью нескольких различных методов, которые представляют собой разновидности, модификации метода экспертиз. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т.п. -- все это решения, принимаемые экспертными методами.

Экспертные методы оценки качества продукции могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества чего-либо. Следовательно, экспертные методы применяются:

При общей (обобщенной) оценки качества продукции;

При классификации оцениваемой продукции;

При определении номенклатуры показателей качества оцениваемой продукции;

При определении коэффициентов весомости показателей качества продукции;

При оценки показателей качества продукции органолептическим методом;

При выборе базовых образцов и безразмерных значений базовых показателей качества;

При определении итогового комплексного показателя качества на основе совокупности единичных и комплексных (обобщенных и групповых) показателей;

При аттестации продукции и сертификации.

Экспертный метод оценки уровня качества продукции не может быть использован, если качество можно оценить другими аналитическими или экспериментальными методами с большей точностью или с меньшими затратами.

Результаты общей экспертной оценки такого сложного комплекса свойств, каким является качество продукции, имеют элементы неопределенности и необоснованности. Поэтому экспертная оценка качества продукции в целом является предварительной, ненасыщенной информационно и только в первом приближении, ориентировочно характеризует качество оцениваемого изделия. На основе такой экспертной оценки качества, очевидно, нет возможности принимать какие-либо инженерно-технические решения. Этот метод может, например, использоваться при коммерческих сделках, когда нет конкретных (численно выраженных) сведений об уровне качества приобретаемой продукции и т.п.

Однако следует отметить, что экспертный метод для оценки многих показателей качества технической и другой продукции является единственно возможным, применяется достаточно широко и для этого разработаны соответствующие методики.

Объектом экспертизы (экспертных оценок) в нашем случае являются потребительские свойства в их совокупности, т.е. качество.

Критерии, по которым осуществляется экспертиза качества, подразделяются на общие и конкретные.

К общим критериям относятся сложившиеся в обществе ценностные ориентиры, представления и нормы. Конкретные критерии для эксперта -- это реальные требования к качеству продукции данного вида, установленные в нормативно-технических и других обязательных для исполнения документах. В форме конкретных критериев выступает также комплекс базовых значений показателей качества, характеризующих планируемую или проектируемую продукцию. Характеристики реально существующих высококачественных изделий, изготавливаемых в стране или за рубежом, тоже являются конкретными критериями для экспертов.

С целью повышения достоверности, точности, надежности и воспроизводимости экспертных оценок экспертизу осуществляют путем принятия группового решения компетентными людьми. Для оценки уровня качестве продукции создается экспертная комиссия, состоящая из экспертной и рабочей групп.

В экспертную группу включаются высококвалифицированные и специально подготовленные работники в области создания и функционирования оцениваемой продукции: исследователи, конструкторы, технологи, дизайнеры, товароведы, экономисты и т.д. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок и должно составлять от семи до двадцати человек. При заочном опросе верхний предел количества опрашиваемых экспертов не ограничивается.

Экспертная группа (комиссия) пользуется экспертным способом получения информации о показателях качества оцениваемой продукции. При этом экспертная группа может принимать решения на основе усреднения оценок экспертов или проводя голосования экспертов (метод "комиссий"). С целью уменьшения субъективности в экспертном методе рекомендуется проводить несколько туров опросов экспериментов.

Экспертный метод "комиссий" заключается в том, что в нем используется как бы голосование. Сначала эксперты выставляют оценки независимо друг от друга. Потом, после открытого обсуждения выставленных оценок, эксперты вновь независимо друг от друга дают оценки каждому параметру качества. Впоследствии по скорректированным индивидуальным оценкам рассчитывают экспертную оценку. Эту работу проводит рабочая группа экспертной комиссии. Кроме того, рабочая группа организует процедуру опроса экспертов, анализирует полученные результаты и составляет заключение экспертной комиссии.

Желательно, чтобы для оценок однотипной продукции экспертная комиссия формировалась из постоянных экспертов и членов рабочей группы. Это связано с тем, что в процессе работы относительно постоянной комиссии накапливается опыт работы, происходит обучение ее членов, вырабатываются общие подходы и принципы, а это повышает эффективность работы экспертной комиссии.

Перечень и последовательность основных этапов работы экспертной комиссии состоит в следующем:

1) назначение лиц, ответственных за организацию и проведение работ по экспертной оценке качества продукции;

2) формирование экспертной и рабочей групп;

3) разработка классификации и определение номенклатуры показателей качества оцениваемой продукции;

4) подготовка анкет и пояснительных записок для опроса экспертов;

5) оценка и опрос экспертов;

6) обработка экспертных оценок;

7) анализ и оформление результатов экспертной оценки качества (или показателей качества) продукции.

В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества групп однородных изделий, выпускаемых промышленностью серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке продукции. При комплексной экспертизе получают не только более полную характеристику оцениваемого объекта, но и определенный научный, методический и нормативный материал, используемый при проведении других видов экспертизы.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

Наиболее распространенные экспертные методы при классификации по признаку оценки предпочтений:

1. Метод рангов

2. Метод непосредственного оценивания

3. Метод сопоставлений:

Парного сравнения

Последовательного сопоставления

Используя метод рангов, производят ранжирование (упорядочение) исследуемых объектов организованной системы в зависимости от их относительной значимости. При этом наиболее предпочтительному объекту обычно присваивается первый ранг, и наименее-последний, равный по абсолютной величине числу упорядоченных объектов

Таблица 1 - Определение результирующего ранга объектов ранжирования

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов. Достоинством метода рангов является его простота. Недостатками являются:

Невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15-20;

Не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга.

Данный метод применяется в практике исследования систем управления, несмотря на свою простоту, довольно редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них.

При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности экспертов об исследуемых свойствах объекта, чего нередко не бывает.

Таблица 2 - Определение результатов непосредственного оценивания объектов

Объект ранжирования №	Эксперт №	Сумма рангов объектов	Результирующий ранг объекта	Весомость объекта

По результатам оценок экспертов место любого объекта можно определить по формуле (1),

где Вi- значимость i-го объекта (i=123….n)рассчитанная на основании экспертов(j=1,2,3,….k)

Aij= оценка (в баллах), данная i-му объекту j-тым экспертом

Метод сопоставления осуществляется парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 - объект 2, объект 2 - объект 3 и т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее количество объектов (по сравнению, например, с методом рангов) и с большей точностью.

Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причем самому важному объекту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, то есть от 1 до 0. Далее эксперт решает вопрос, будет ли важность объекта, имеющего ранг 1, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Метод последовательного сопоставления для экспертов наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при имеющихся численных данных, но при недостаточности информации по решаемому вопросу используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании рассмотренных экспертных методов мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать меру согласованности мнений экспертов и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Согласованность мнений экспертов определяется с помощью коэффициента конкордации:

где С - сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам (Н) и экспертам (К).

Общими достоинствами экспертных методов являются быстрота получения результатов без наличия нормативной базы в системе управления, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

Недостатками экспертных методов являются их субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях и проектировании систем управления. Причем, наибольший эффект достигается при одновременном использовании нескольких методов.

экспертный качество шкала

На основном этапе, предназначенном для получения результатов экспертных оценок, применяются две подгруппы методов: 1) экс­пертной оценки характеристик товаров и 2) опроса экспертов для вы­явления их суждений и мнений.

Методы экспертной оценки характеристик товаров. Поскольку одним из оснований для проведения экспертизы является невозможность или неэкономичность применения объективных методов оценки (изме-

рительного, регистрационного, расчетного), результаты экспертных оце­нок, отражающих суждения и мнения экспертов, обычно выражаются в форме описаний или условных единиц (баллов, рангов и т. п.). В связи с этим наиболее распространенной сферой применения методов эксперт­ной оценки товаров являются такие подвиды товароведной экспертизы, как идентификационная экспертиза и экспертиза по качеству. Количест­венная и документальная экспертизы могут быть проведены и объектив­ными методами путем использования средств измерений или пересчета, а также методом сравнительного анализа документов.

Идентификационная экспертиза и экспертиза по качеству осуществ­ляются путем определения показателей качества. Определение экспер­тами количественной характеристики показателей без применения объ­ективных методов основывается на мыслительном исследовании этих показателей с использованием шкал порядка или наименований, а в не­которых случаях - шкал разницы и отношений. При этом эксперты мо­гут оценивать единичные и/или комплексные показатели качества, при­меняя дифференцированный и комплексный методы.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и ком­плексных показателей качества.

Данные методы предназначены для определения значений показа­телей качества расчетным или эвристическим путем в случаях, когда применение измерительных методов невозможно или неэкономично из-за чрезмерных расходов или длительного времени испытаний. На­пример, при определении вкуса и запаха пищевых продуктов исполь­зуются только органолептические методы. Измерительные методы не дают точной и надежной оценки, несмотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, значи­тельно отличающихся по качеству, рекомендуется определять значе­ние единичного показателя Р дифференциальным методом.

Дифференциальный метод оценки показателей качества - метод, основанный на сравнении действительных значений единич­ных показателей с базовыми значениями тех же показателей:

§ 5. Экспертные методы

При дифференциальном методе фактически определяется уровень качества, если за базовое значение выбрано регламентированное нор­мативным документом значение показателя качества или базовый об­разец. При этом эксперт должен дать ответ: уровень качества по ис­следуемому показателю выше или ниже либо равен базовому образцу.

Сфера применения дифференциального метода выходит далеко за рамки только экспертной оценки. Он находит широкое применение и в научных исследованиях, и при оценке специалистами конкуренто­способности товаров. Действительные значения единичных показате­лей могут быть получены измерительным методом, а затем рассчита­ны и проанализированы специалистами или экспертами.

Вместе с тем использование данного метода при экспертной оценке имеет определенные особенности.

Оценка единичных показателей качества экспертами начинается с определения допустимых интервалов их измерения (р. макс: /> f MHH) р. макс - наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого зна­чения показателя (р. макс) зависят от целей оценки качества. При этом не­обходимо, чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигается путем членения сложных операций на простые, которые составляют много­ступенчатую процедуру оценки допустимых значений показателя. Переход к каждой последующей ступени совершается после выработ­ки согласованных решений на предыдущей ступени.

Экспертная процедура определения допустимых значений показа­телей качества состоит из следующих операций:

Выдача экспертам анкет пояснительной записки, в которой пере­
числены показатели качества и описаны принципы выбора допус­
тимых значений показателей;

Заполнение экспертами анкет и указание конкретных моделей про­
дукции, значения которых они считают предельно допустимыми;

Ознакомление каждого эксперта с оценками, назначенными дру­
гими экспертами, и их обсуждение;

Проведение второго (иногда третьего и четвертого) тура анкети­
рования;

» усреднение результатов оценки.

При значительном разбросе мнений проводится дополнительный тур голосования. Значение показателя принимается за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений р. макс, за минимальное допустимое значе­ние - среднее из 50% наименьших значений Р г мин. Полученные зна­чения используются экспертами при определении оценок показателей качества К.

Для установления экспертами вида зависимостей (/) между зна­чениями показателей P t и их оценками К,- нередко используется ме­тод главных точек. Необходимость его применения обусловлена тем, что разделение процедуры оценки на несколько этапов упро­щает работу эксперта и позволяет ему дать оценки некоторым ха­рактерным точкам, исходя из которых можно построить модель искомой величины.

Комплексный метод оценки показателей качества - метод, основанный на установлении наиболее значимых для оценки качества единичных показателей, определении их действительного и средне­взвешенного значений комплексного показателя с учетом коэффици­ентов весомости.

Расчет комплексного показателя качества (Q) осуществляется по формуле

где Р\,Рг, ■■■iPn - действительные значения показателей качества;

К в ь К„2, ..., К в „ - коэффициенты весомости этих показателей.

Применение комплексного метода требует обоснованного выбора номенклатуры показателей качества товаров.

Глава 4. Методы товарной экспертизы]

§ 5. Экспертные методы

Эти показатели подразделяются на оценочные, идентификацион­ные и ограничительные.

Оценочные показатели - показатели потребительских свойств, обладающие способностью удовлетворять основные потребности.

Данные показатели используют при необходимости оценки уров­ня качества и конкурентоспособности товаров, а также для позицио­нирования их на определенном сегменте рынка и проведении товаро­ведной экспертизы по качеству.

Идентификационные показатели - показатели потребитель­ских свойств, предназначенные для систематизации товаров и отнесе­ния их к определенным классификационным группировкам.

Такие показатели чаще применяются при проведении идентифи­кационной экспертизы.

Ограничительные показатели - показатели, предназначенные для ограничения установленных требований.

Выбор этих показателей определяется целями товарной эксперти­зы, а ограничения устанавливаются соответствующими нормативны­ми методами. Достаточно часто действительные значения ограничи­тельных показателей качества получают измерительными методами, а в задачи экспертов входит лишь сравнение результатов испытаний с установленными требованиями. При этом коэффициенты весомости комплекса испытуемых показателей не учитываются.

Ограничительные показатели находят широкое применение при обязательной сертификации по показателям безопасности, а также при санитарно-эпидемиологической, ветеринарной, фитосанитарной и экологической экспертизах. В ряде случаев они могут применяться и з таких разновидностях товароведной экспертизы, как идентификаци-энная и по качеству. Например, при установлении принадлежности шкогольного напитка к водке используют следующие ограничитель­ные показатели: минимально допустимое содержание этилового спирта и максимально допустимое содержание сивушных масел и ме-гилового спирта.

Выбор номенклатуры показателей качества товаров и их эксперт-гая оценка могут осуществляться двумя методами: экспресс-методом i методом движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов това->ов основаны на определении комплексного показателя качества путем

анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предель­ным количеством оцениваемых показателей даже для высококвалифи­цированного эксперта является 7-9 показателей, расположенных на од­ном уровне иерархии и составляющих достаточно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показа­телей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки представляет со­бой комплекс операций, осуществляемых последовательно, с посте­пенным повышением уровня. При этом анализ начинается от нижне­го уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предва­рительном определении экспертами коэффициентов весомости пока­зателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплекс­ных показателей аналогична процедуре по методу движения по уров­ням без подготовки.

Метод главных точек в зависимости от их числа имеет несколь­ко разновидностей.

Метод трех главных точек - метод, основанный на разделении значений показателей Р, на максимальное, минимальное и среднее значения и определении значений оценок К,- в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и по­строение графика. После этого от графической зависимости можно перейти к аналитической формуле для расчета оценок показателя ка­чества К,. Данный метод позволяет разработать лишь приближенную модель оценки К,.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Метод семи главных точек - метод оценки по семибалльной шка­ле определения показателей, значения которых установлены экспери­ментальным или расчетным путем, а также органолептическим методом.

Семибалльная шкала является равномерной, т. е. при переходе от одного класса качества к другому оценка меняется на один балл. Такие шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анке­те приводят пять графиков. Эксперт выбирает кривую (или комбина­цию кривых), которая наилучшим образом, по его мнению, отражает характер зависимости/ Затем каждому классу качества назначается оценка в соответствии с характером зависимости и значениями пока­зателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс «наивысшее качество» получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Р, и их оценками К,-, а для показателей, оцениваемых органолептическими методами, - между классами качества и их оценками.

В заключение проводятся обсуждение полученных результатов, их обработка и анализ. Для показателей, определяемых измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение метода главных точек дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Методы опроса

Методы опроса - методы, основанные на проведении анкетного эпроса группы экспертов с последующим анализом и обработкой по-тученной от них информации.

Целью этих методов является определение индивидуальной и групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора этих методов служит необходимость тринятия сложных решений в ситуации неопределенности или со-

ставление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных либо непродовольственных то­варов). Важнейшими инструментами методов опроса служат его про­цедура и анкеты.

Разработка процедуры опроса проводится после формулирова­ния целей и задач, формирования группы аналитиков. Для этого со­ставляются анкеты (открытые и закрытые) и определяются методы опроса (индивидуальные и групповые, очные и заочные). Существуют определенные методики составления анкет, которые целесообразно учитывать при их разработке.

При разработке анкет группа аналитиков должна предусмотреть уровень детализации проблемы, который определяется спецификой и целями экспертизы. От уровня детализации зависит достоверность ре­зультатов экспертизы, причем с ростом степени детализации согласо­ванность экспертных оценок, как правило, увеличивается. Однако из­лишняя детализация проблемы может привести и к снижению надежности информации, полученной от экспертов.

Детализация проблемы осуществляется путем включения в анкету тестов (закрытых вопросов) с элементами готовых ответов или без от­ветов (открытых вопросов). Элементы готовых ответов в дальнейшем позволяют облегчить обобщение и формализацию ответов экспертов, но и ограничивают информативность оценки одним или несколькими альтернативными ответами, при этом возникает опасность навязывания эксперту ответов. При включении в анкету открытых вопросов эксперт может дать ответ в любой форме и с любым объемом информации. В этом случае появляется возможность обнаружения с помощью экс­пертов новых, порой неожиданных для аналитиков аспектов проблемы. Конкретный вопрос с определенным набором готовых альтернатив­ных ответов называется признаком анкеты. Набор ответов может быть качественного и количественного характера. При качественном характе­ре набора ответов задача эксперта заключается в выборе из предлагае­мых элементов ответов, которые, по его мнению, наиболее полно отра­жают суть проблемы по данному вопросу. При количественном характере набора ответам на вопросы присваивают числовые значения.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

При подборе признаков, которые желательно включить в анкету, нельзя допускать возможность двойного толкования вопросов. Поэтому полезно проверить анкету самими аналитиками. Если распределение су­ждений по некоторому признаку имеет значительное стандартное откло­нение, можно предположить, что данный признак двусмыслен.

Все вопросы в анкете можно разделить в зависимости от их со­держания на три группы:

Объективные анкетные данные об эксперте - возраст, образование,
профессия, стаж работы, научное звание, узкая специализация;

Характеристики, позволяющие оценить мотивы, которыми руко­
водствовался эксперт при оценке исследуемой проблемы;

Основные вопросы, касающиеся существа исследуемой проблемы.
В зависимости от широты охвата методы опроса экспертов подраз­
деляются на индивидуальные и групповые, а от наличия или отсутст­
вия обсуждения результатов оценки в экспертной группе, его характе­
ра, обоснования оценок, личных контактов и опрашиваемых субъектов
различаются несколько способов экспертного опроса (рис. 17).

Выбор того или иного способа проведения экспертного опроса определяется целями экспертизы, затратами на ее проведение и ожи­даемыми результатами, а критериями выбора служат объективность, информированность и трудоемкость.

Критерий объективности. Хотя требование объективности эксперта является одним из основных, однако на практике на экспертов может быть оказано определенное влияние. Оно может носить конформный или авторитарный характер и играет отрицательную роль, так как мнение и оценка эксперта формируются под влиянием факторов, не относящихся к свойствам товаров или других объектов экспертизы.

В связи с этим при выборе способов проведения опросов экспертов предпочтение следует отдавать тем из них, при которых конформное или авторитарное влияние проявляется в меньшей степени. К таким спосо­бам относятся, например, анонимное обоснование оценок, отсутствие контактов между экспертами, закрытое голосование. При вынесении коллективной экспертной оценки обычно не происходит беспристраст­ного и последовательного анализа проблем. Оценка основана на ком­промиссе между суждениями отдельных экспертов, поэтому способ кол-пективной экспертной оценки редко применяется при опросе экспертов.

Рис. 17. Классификация способов экспертного опроса

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Критерий информированности относится к важнейшим факто­рам, влияющим на качество эксперта, а также на надежность прини­маемых им оценок. Повышению информированности экспертов спо­собствует их взаимное обогащение в ходе обсуждения оценок. Логические доводы других экспертов, сообщаемая при этом дополни­тельная информация, ранее неизвестная другим экспертам, позволяют повысить уровень информированности, за счет чего эксперт может скорректировать свою оценку.

Исходя из этого, наиболее удачными по критерию информирован­ности являются способы, содержащие информацию об оценках других экспертов. Существуют также личные контакты между экспертами, происходит дискуссионное обсуждение оценок и персональное обосно­вание их. Поэтому при организации работы постоянных экспертных групп целесообразен обмен информацией, поскольку он способствует слаженной работе экспертов. При создании временных экспертных групп обмен информацией и коллективное обсуждение рекомендуются только в тех случаях, когда проведены оценка и отбор экспертов на объективность корректирования своих суждений (отсутствие конфор­мизма). Во всех случаях при учете критерия информированности экс­пертов не следует забывать о создании условий для их объективности и исключения конформного или авторитарного влияния.

Критерий трудоемкости зависит от количества проводимых опе­раций, их продолжительности и характера. Так, при письменном обос­новании оценок эксперт затрачивает больше времени, чем при устной дискуссии. Эффективность экспертного опроса в значительной степени зависит от способов и техники выявления суждений экспертов.

Способы и техника опроса экспертов. При индивидуальном оп­росе технический работник проводит опрос каждого эксперта, а при групповом - сразу всей группы. Результаты индивидуального опроса после обобщения и соответствующих расчетов могут быть использо­ваны для установления групповых оценок. Однако групповая оценка может быть получена и в результате индивидуального опроса лидера и сублидера экспертной группы.

Индивидуальный опрос каждого эксперта в группе связан с по­вышенной трудоемкостью, значительными затратами времени и раз­бросом суждений, что затрудняет выявление объективной и досто­верной экспертной оценки.

При индивидуальном опросе лидеров и сублидеров экспертной группы и особенно отдельных экспертов затраты времени на опрос меньше, однако вероятность конформизма среди членов группы и проявления авторитарных мнений лидера и сублидера больше.

В зависимости от технических приемов анкетирования индивиду­альный опрос делится на следующие разновидности: интервью, ин­тервью-анкеты, анкетирование и смешанное анкетирование.

Достоинства и недостатки этих способов указаны в табл. 5. Инди­видуальный способ опроса делится на разновидности в зависимости от применяемых технических приемов.

Таблица 5 Достоинства и недостатки разных способов опроса экспертов

Способы и разновид-	Достоинства	Недостатки
ности опроса
Индивидуальный	Возможность выявить	Высокие затраты вре-
способ	все или большинство	мени и критерий трудо-
разновидности по тех-	неясных вопросов,	емкости. При первич-
ническим приемам:	уточнить недостаточно	ном опросе эксперт
интервью	сформулированные;	может задавать нечетко
интервью-анкеты	использовать техниче-	сформулированные во-
смешанное анкетирова-	ские приемы	просы, увеличивающие
ние		трудозатраты.
анкетирование		Возможно снижение
		объективности
Групповой способ	Сокращение затрат вре-	Невозможность ис-
	мени экспертов и рабо-	пользования техниче-
	чей группы, снижение	ских приемов
	критерия трудоемкости

Интервью - разновидность опроса эксперта для выявления его оценки в ходе свободной, но.проводимой по определенной программе беседы с экспертом.

Интервью-анкета - разновидность опроса эксперта путем по­становки перед ним конкретных вопросов в определенной последова­тельности, задаваемых в форме анкеты.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Анкетирование - разновидность опроса экспертов с помощью вопросов анкеты, на которые эксперт дает письменные ответы. Чаще всего анкетирование проводится заочным методом без контакта с ра­бочей группой. Для повышения степени информированности эксперта к анкете прилагается пояснительная записка.

Смешанное анкетирование - разновидность опроса эксперта с помощью анкет и дополнительного инструктажа членом рабочей группы. Целью инструктажа являются уточнение деталей, постановка дополнительных вопросов (при необходимости).

По информативности наибольшими возможностями обладают та­кие методы, как интервью, интервью-анкета и смешанное анкетиро­вание, а по объективности - анкетирование. Минимальная объектив­ность свойственна интервью. Однако исходя из разных целей экспертизы, на практике может применяться любой из указанных способов. При этом предпочтение одной из указанных разновидно­стей отдается в следующих случаях:

При отсутствии ограничений времени проведения опроса целесооб­
разно проводить интервью-анкету или смешанное анкетирование;

При значительном числе экспертов и возможности собрать их всех
вместе применяют анкетирование;

При невозможности задать четко сформулированные вопросы,
которые будут поняты всеми экспертами однозначно, а также
при затруднениях эксперта выразить ответы на задаваемые во­
просы в виде числовых оценок применяют смешанное анкети­
рование.

При проведении опроса экспертов необходимо соблюдать общие и специфические требования к условиям опроса. Общие требования к условиям опроса:

Благоприятная психологическая обстановка опроса, способствую­
щая заинтересованности эксперта путем установления благожела­
тельного контакта между опрашиваемым и проводящим опрос;

Исключение возможности сознательного или бессознательного
навязывания эксперту мнения членов рабочей группы или других
экспертов;

Обеспечение уверенности эксперта в том, что выносимые оценки
не будут использованы в неблагоприятных для него целях; в от-

дельных случаях может быть поставлено условие о конфиденци­альности информации об оценках эксперта;

Создание и поддержание оптимальной трудоемкости опроса путем
выполнения экспертами только творческих, наиболее сложных
оценочных операций и передачи вспомогательных расчетных,
графических, других операций техническому персоналу рабочей
группы;

Понимание экспертом задаваемых ему вопросов с помощью необ­
ходимого инструктажа, а в отдельных случаях и предварительно­
го, тренировочного опроса;

Постановка четко сформулированных вопросов, не имеющих дву­
смысленного характера и не требующих больших дополнитель­
ных пояснений;

Использование общепринятых терминов, по мере возможности
стандартизированных, а при их отсутствии разъяснение новых
или неоднозначно применяемых терминов.
Специфические требования:

а) к технике интервьюирования

Предпочтительное использование стандартизированного интервью,

Доверительность начала интервью, располагающая к откровенности,

Быстрота и экономичность при кодировании ответов эксперта
членами рабочей группы;

Провоцирование экспертов на аргументацию своих оценок путем
оспаривания его ответа;

б) к технике анкетирования

обеспечение четкого и однозначного понимания экспертами ха­
рактера выполнения операций путем приложения к каждой анкете
пояснительной записки с определением целей и задач экспертизы,
методов и последовательности выполнения операций;

Единообразие в составлении анкет и пояснительных записок для
облегчения работы с ними;

Случайный характер перечисления свойств, которым эксперт
должен дать числовые оценки, причем эксперты должны быть
предупреждены об этом, в противном случае может иметь место
бессознательное завышение оценок свойств, стоящих в списке
первыми.

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколь­ко экспертных методов, получивших наибольшее признание и рас­пространение. К ним относятся методы Дельфы, ПАТТЕРН и комби­нированный.

Метод Дельфы (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мне­ния по процедурам с недостаточной информацией.

Название метода произошло от древнегреческого города Дельфы, где жили оракулы, предсказывающие будущее.

Особенностями метода Дельфы являются отказ от совместной ра­боты экспертов; анонимность оценок; регулирование обратной связи; групповой ответ.

Отказ от совместной работы экспертов и анонимность достигают­ся тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экс­пертами в компьютер. Регулируемая обратная связь осуществляется за счет проведения нескольких туров опроса, причем результаты каж­дого тура обрабатываются статистическими методами и доводятся до сведения экспертов. Это позволяет уменьшить разброс индивидуаль­ных оценок и получить групповой ответ, правильно отражающий мнение каждого эксперта.

Количество туров (до четырех) зависит от того, насколько быстро удается добиться сближения оценок экспертов в группе.

Анонимность опроса позволяет уменьшить конформное и автори-гарное влияние отдельных доминирующих экспертов, а регулируемая обратная связь уменьшает влияние индивидуальных и групповых ин-гересов. Введение обратной связи также повышает критерий объек-гивности и надежность оценок.

Проведение опроса в несколько туров с информированием экс-дертов о результатах предыдущих этапов работы, после которых каж­дый эксперт должен обосновать свое мнение, позволяет уменьшить солебания в индивидуальных и групповых ответах. Это дает неоспо-жмые преимущества по сравнению с обычным усреднением индиви­дуальных оценок.

При использовании метода Дельфы к процедурам опроса предъ­являются следующие требования:

Поставленные вопросы должны допускать возможность выраже­
ния ответа в виде чисел;

Достаточная информированность экспертов для выставления
оценок;

Наличие обоснований эксперта на каждый из заданных вопросов.
Достоинством рассматриваемого метода является повышение

критерия объективности за счет анонимности ответов экспертов, бла­годаря чему мнение эксперта не искажается вследствие внушения или приспособления к мнениям других экспертов. Кроме того, возрастает и информированность экспертов за счет ознакомления с оценками других экспертов после Окончания очередного тура, а также обосно­вания собственных оценок. Выявление преобладающих мнений по­зволяет сблизить точки зрения разных экспертов, сформировать груп­повое, но не единое, мнение.

Недостатки метода, проявляющиеся на начальном этапе его при­менения, - нестабильность состава экспертных групп, значительные разрывы во времени между турами, нечеткие формулировки вопро­сов, недоучет разной компетентности экспертов, необоснованность выбранного метода усреднения экспертных оценок - были частично устранены путем разработки модификаций этого метода (метод СИИР, Дельфы - Перт и др.). В результате этого метод Дельфы в на­стоящее время стал одним из наиболее применяемых, особенно для целей прогнозирования, а также при изучении ряда экономических и социальных проблем.

При использовании данного метода для целей экспертной оценки качества потребительских товаров проявляются следующие его не­достатки: сложность опроса экспертов и заполнения анкет, трудоем­кость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громозд­кость пояснительных записок из-за отсутствия прямого контакта ор­ганизатора с экспертами.

Из-за указанных недостатков использование метода Дельфы при экспертной оценке качества товаров затруднено, а в некоторых случа­ях и нецелесообразно. Однако он перспективен для получения груп-

Глава 4. Методы товарной экспертизы

§ 5. Экспертные методы

Повой экспертной оценки и углубленного анализа событий в ситуаци­ях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на по­строении иерархической структуры - дерева целей и вынесении ре­шения этих целей после открытого обсуждения.

Название метода складывается из первых букв английских слов, означающих «Помощь планированию посредством количественной оценки технических данных». Метод был разработан в 1962-1964 гт. в американской фирме «Хоннуел» для оценки проектов новых систем вооружения.

Данный метод предусматривает несколько этапов.

/ этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и так далее порядка, которые затем делятся на более узкие задачи. Деление про­должается до тех пор, пока не будут получены простые элементы, ко­торые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, на­зываемая деревом целей.

II этап - определение с помощью экспертов коэффициентов ве­сомости (или значимости) каждой задачи относительно основной це­ли, при этом эксперты выносят решения после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с достоинством (взаимодейст­вие экспертов, стремящихся к принятию положительного решения) имеет и недостаток из-за конформизма, т. е. искажения действитель­ного мнения экспертов за счет внушения или приспособления к мне­нию большинства.

/// этап - применение компьютеров для обработки полученных данных и их анализа.

Достоинством метода ПАТТЕРН по сравнению с методом Дельфы является упрощение процедуры экспертного опроса. Однако метод имеет и ряд недостатков: отсутствие обоснований оптимального чис­ла членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий в качестве отдельных экспертов; отсутствие барь-

еров для проявления конформизма экспертов; недостаточная разра­ботка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфы и ПАТТЕРН имеют существенные не­достатки и не отвечают полностью целям экспертной оценки, Э.Л. Райх-ман и Г.Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки .

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Количественные оценки, например деловых и организаторских качеств работника, производятся, как правило, с помощью экспертных оценок. При этом для характеристики кандидата на должность сначала устанавливают (с учетом специфики производства и условий работы) 6-7 критериев. Например:

1. способность организовывать и планировать труд;

2. профессиональная компетентность;

3. сознание ответственности за выполняемую работу;

4. контактность и коммуникабельность;

5. способность к нововведениям;

6. трудолюбие и работоспособность.

По каждому из этих критериев на основе изучения деятельности кандидатов на должность дается соответствующая оценка по избранной, например, пятибалльной шкале (отлично - 5; хорошо - 4; удовлетворительно - 3; не -удовлетворительно - 2; плохо - 1).

Оценки по критериям обычно располагают по нарастающему количественному значению. Например, при оценке по критерию "способность организовывать и планировать труд":

"1" - явно неорганизованный работник и руководитель;

"2" - не умеет организовывать и планировать свой труд и труд подчиненных;

"3" - умеет организовать трудовой процесс, но не всегда удачно планирует работу;

"4" - умеет хорошо организовывать и планировать свой труд и труд подчиненных;

"5" - умеет создавать и поддерживать четкий порядок в работе на основе эффективного планирования.

По своей значимости в общей оценке кандидата на конкретную должность определенные качества всегда имеют различный удельный вес, что устанавливается экспертным путем. Например, по шести указанным выше критериям могут быть приняты определенные значения.

Для определения общей оценки деловых и организаторских качеств кандидата на управленческую должность составляется специальный оценочный лист.

Естественно, чем выше общая оценка по каждой группе качеств, тем более достоин кандидат заместить должность в аппарате управления. Наибольшая возможная оценка - 5, а самая низкая - 1.

Образование, стаж работы и возраст работника должны обязательно учитываться при оценке деловых качеств. Дело в том, что образование - одна из основных качественных характеристик при определении уровня квалификации работника, стаж работы - количественная мера опыта, а возраст находится во взаимосвязи со стажем работы.

Данные об образовании кандидата, его стаже и возрасте учитываются путем расчета коэффициента профессиональной перспективности по формуле:

К = Оу.обр. (1 + С/4 + В/18), где

Оу.обр. - оценка уровня образования, которая обычно принимается (составляет

0,15 для лиц, имеющих незаконченное среднее образование;

0,60 - для лиц со средним образованием;

0,75 - для лиц со среднетехническим и незаконченным высшим образованием;

1,00 - для лиц с высшим образованием по специальности;

С - стаж работы по специальности. В соответствии с рекомендациями НИИ труда он делится на 4 (в связи с тем, что, как установлено, стаж в 4 раза меньше влияет на результативность труда, чем образование);

В - возраст. В соответствии с рекомендациями НИИ труда он делится на 18 (установлено, что влияние возраста на результативность труда в 18 раз меньше, чем влияние образования). При этом за верхний предел возраста для мужчин принимается 55 лет, а для женщин - 50.

На этапе определения общей оценки кандидата на должность величина коэффициента профессиональной перспективности суммируется с общей оценкой по деловым и организаторским качествам. Совершенно очевидно, что предпочтение отдается тому кандидату, который в итоге получит наибольшую оценку, притом обязательно еще и с учетом таким же способом полученных оценок по группам личностных качеств.

Проверка практикой, бесспорно, имеет решающее значение для оценки любого управленческого работника. В связи с этим рекомендуется осторожно и терпеливо испытывать и распознавать среди них настоящих организаторов, сочетающих интерес к делу с умением наладить совместную работу коллектива людей. Для этого при работе с резервом кадров на выдвижение широко практикуется их привлечение к временному исполнению обязанностей руководителя в период его отсутствия, стажировка и другие формы и методы практической проверки. Однако и в таких случаях результаты работы требуют объективных оценок.

На ряде российских организаций накоплен положительный опыт оценки управленческого персонала. Сущность одного из наиболее апробированных и достаточно эффективных методов заключается в использовании квалификации, опыта и интуиции наиболее компетентных в своей области работы специалистов - экспертов. Важнейшими условиями применения этого метода является обеспечение анонимности выставляемых экспертами оценок и обоснованность подбора состава экспертных комиссий.

Если анонимность достигается через специальное анкетирование или тестирование, то обоснованность подбора состава экспертов состоит в их тщательной предварительной оценке, а также в методически грамотном и целенаправленном формировании количественного и качественного состава. Например, главные требования к эксперту - его компетентность в управлении производством, нравственность, глубокие знания и признанное умение решать специальные задачи в соответствии с определенными- функциями.

Одно из требований - хорошо разбираться в одной из смежных специальных областях деятельности, например, для технолога - в экономике, для экономиста - в технологии, линейного руководителя - в правовых вопросах и т. д. Традиционное требование к формированию группы экспертов состоит в их способности провести экспертизу с учетом разнообразных сторон деятельности оцениваемого работника.

Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.

Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.

Групповая экспертиза включает следующие обязательные этапы:

Разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;

Выбор техники опроса или способов выявления индивидуальных мнений;

Формирование экспертной группы;

Проведение опроса экспертов;

Обработка результатов (получение группового суждения);

Анализ результатов.

Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.

Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.

Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).

Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.

После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (смотри Таблицу 1).

Таблица 1.

Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:

1. если всегда - 1,5 балла;

2. если в большинстве случаев - 1 балл;

3. если иногда - 0,5 балла;

4. если почти никогда - 0 баллов.

При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта.

Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле:

Где Зср - средний балл оценки качества по степени его функциональной значимости;

З10 ... 31 - оценка экспертом степени значимости качества по десятибалльной шкале;

N10 ... n1 - количество экспертов, которые присвоили качеству оценку по степени значимости (в баллах);

Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле:

Где Пср - средняя оценка степени проявления качеств у аттестуемого;

П1,5 ... П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;

N1,5 ... n0,5 - количество экспертов, отнесших качество к степени его проявления у аттестуемого к тому или иному баллу оценки;

N - общее количество экспертов.

Затем по каждому качеству определяется средневзвешенный балл по формуле:

К = Зср * Пср, где К - качество.

Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты:

1) 57 х 1,5 = 85,5;

2) 57 х 1,0 = 57,0;

3) 57 X 0,5 = 28,5.

Таким образом, в первом случае, если оценка работника составляет более 85 баллов, формулируют вывод о его повышении или включении в состав резерва на выдвижение. Во втором случае, если оценка составит от 57 до 85 баллов, делают заключение о соответствии занимаемой должности. В третьем случае, если оценка составляет ниже 28 баллов, фиксируют вывод о том, что работник не соответствует занимаемой должности. При этом весьма ценно и то обстоятельство, что детальный анализ оценок экспертов по качествам может помочь определить для каждого работника конкретные направления совершенствования его деятельности.

Экспертные методы - методы оценки, проводимые группой экспертов в условиях неопределенности или риска.

Экспертные методы используются для определения номенклатуры показателей качества, коэффициентов их весомости, для измерения показателей качества и их оценки органолептическим методом. Оценка показателей качества измерительным, регистрационным, расчетным методами применяется для определения комплексных показателей качества различных уровней иерархии.

Предназначены для экспертной оценки товаров в случаях, когда другие, ранее перечисленные методы неприменимы или неэкономичны.

Экспертные методы основаны на принятии эвристических решений, базой для которых являются знания и опыт, накопленные экспертами в конкретной области в прошлом.

Экспертным методам присущи определенные достоинства и недостатки.

Преимуществами является то, что они позволяют принимать решения, когда объективные методы невосприимчивы. К другим преимуществам относится их восстанавливаемость. Сфера применения этих методов - не только оценка качества товаров, но и исследование операций технологического цикла, принятие решений, управляющие, прогнозирования.

Экспертные методы, применяемые квалифицированными экспертами, позволяют дать точную оценку товаров. Проведенные эксперименты свидетельствуют, что при правильной методике экспертной оценки погрешность результатов составляет 5-10%, что допускается для измерительных методов. Полученные экспериментальным путем результаты экспертных оценок в различных группах экспертов показали их достаточно высокую восстанавливаемость.

К недостаткам экспертных методов относятся субъективизм, ограниченность применения, высокие затраты на их проведения.

Субъективизм экспертных методов является следствием того, что экспертная оценка проводится каждым экспертом индивидуально и представляет, по мнению Е. П. Райхмана ы Г. Г. Азгальдова "не что иное, как его психологическую реакцию на физические и химические характеристики продукции". Однако следует иметь в виду, что экспертная оценка складывается из мнений нескольких экспертов, каждый из которых является не только специалистом в определенной отрасли знаний, но и потребителем. Поэтому экспертная оценка в определенной мере отражает и мнения потребителей, что невозможно осуществить при других методах.

Вследствие значительной доли субъективизма экспертные методы имеют определенные ограничения. их использование рационально в двух случаях: во-первых, когда поставленные перед экспертами цели не могут быть решены другими методами; во-вторых, когда имеющиеся альтернативные методы дают менее точные и достоверные результаты или связаны с большими затратами.

Для устранения этого недостатка экспертные методы при проведении товарной экспертизы сочетаются с другими методами. Чаще всего вместе применяются экспертный и органолептический методы. Более того, при разработке шкал органолептической балловой оценки, выборе номенклатуры показателей качества, определении коэффициентов весомости экспертные методы незаменимы.

Экспертные методы подразделяются на три подгруппы: 1) методы группового опроса экспертов; 2) математико-статистические методы обработки экспертных оценок 3) методы экспертной оценки показателей качества.

Каждая группа экспертных методов в свою очередь подразделяется на виды и разновидности. Классификация экспертных методов представлена на рис. 1.3.

Рис. 1.3. в

Методы группового опроса экспертов - методы, основанные на проведении опроса группы экспертов с последующим анализом и обработкой полученной от них информации.

Целью этих методов является получение групповой экспертной оценки для принятия окончательных решений.

Основанием для выбора является необходимость принятия сложных решений в ситуации неопределенности или составление научно обоснованного прогноза, требующего участия группы независимых и компетентных специалистов в узкой области или многих областях знаний (например, знаний однородной группы товаров или всех продовольственных товаров).

Основные преимущества групповой экспертной оценки заключаются в возможности разностороннего анализа количественных и качественных аспектов проблем определения и/или прогнозирования отдельных характеристик товаров или их совокупности. Взаимодействие между экспертами позволяет значительно увеличить объем суммарной информации, которой владеет группа экспертов, в сравнении с информацией любого члена группы. К тому же количество факторов, учтенных при групповой оценке и влияющих на результативность принимаемого решения, больше, чем сумма факторов, учтенных одним экспертом. При групповой оценке меньше ошибка принятия основных решений и показателей, не имеющих существенного значения для решения проблемы. Поэтому важным преимуществом групповой оценки является возможность получения обобщенного результата.

К недостаткам групповых оценок относятся: трудности в получении надежной и согласованной оценки; получение неодинаковых ответов на один и тот же вопрос с большой разницей мнений из-за разной компетентности экспертов; получение однозначных ответов не гарантирует их обоснованности и достоверности, причем при проведении экспертизы это невозможно проверить; большее количество неверной информации у группы экспертов, чем у отдельного эксперта, может привести к значительным ошибкам в конечных результатах; возможность конфронтации, когда отдельные эксперты за неуверенности или иных причин могут соглашаться с мнением большинства.

Несмотря на указанные недостатки, экспериментально установлено, что при соблюдении определенных требований групповая оценка более надежна, чем индивидуальная. К таким требованиям относятся: приемлемое распределение оценок; групповая надежность; подготовка экспертизы.

Эффективность экспертизы зависит от точности и надежности полученных результатов, то есть от применяемых методов и от квалификации эксперта. Выбор эксперта является сложной задачей, чаще всего учитывают несколько личных свойств: компетентность - профессиональное и кваліметричну, заинтересованность эксперта в результатах экспертизы, отношение к делу, объективность. Почти не учитываются такие черты, как склонность к риску, другие психологические особенности.

Не разработан до сих системный подход к оценке качества эксперта; существующие методы оценки делятся на пять групп:

Эвристические;

Статистические - оценки, которые получают в результате анализа оценок экспертов с определением отклонений от средних значений;

Тестовые - оценки, полученные в результате выполнения тестовых заданий экспертами;

Документальные - оценки компетентности, полученные при анализе отдельных документальных данных экспертиз, проведенных экспертом;

Комбинированные - оценки, полученные во время анализа данных, полученных при сочетании перечисленных методов.

Эвристические оценки включают самооценку и оценку, сделанную коллективом экспертов. Самооценка чаще всего субъективная; для уменьшения субъективности применяют балльную шкалу по отдельным свойствам эксперта. Самооценку проводят соответственно по видам товаров и показателям качества, например, эстетичность изделий, эксперт оценивает себя анкетированием. Анкета включает периодичность ознакомления с современной отечественной и зарубежной литературой, с современными образцами продукции, с результатами социологических опросов.

Как разновидность самооценки применяют метод оценки по аргументированностью и ознакомления с продукцией, которая анализируется. Оценка проводится с помощью анкеты с определением коэффициента компетентности.

С помощью тестовых оценок возможно оценить такие важные свойства эксперта, как кваліметричну и профессиональную компетентность, объективность. Квалиметрична компетентность при проведении органолептической оценки заключается в многократном опросе экспертов для определения коэффициентов весомости несколько раз и определение достоверности оценок.

Профессиональная компетентность проверяется в виде контроля умение пользоваться различными типами оценочных шкал - порядка, отношений, интервалов, а также умения различать значительное количество характеристик, градаций при оценке свойств продукта, который анализируется.

При участии экспертов в коллективной оценке и обсуждении наблюдается явление конформизма, то есть попадание эксперта под влияние выводов других экспертов, что негативно влияет на формирование объективной оценки эксперта. Поэтому умение придерживаться своего мнения и отстаивать свои выводы имеет положительное значение во время проведения экспертизы коллективным методом и формирования объективной оценки.

Экспертные методы оценки качества основываются на использовании выводов экспертов. Они применяются при невозможности или нецелесообразности, неекономічності использования измерительных или расчетных методов. Это происходит при нехватке информации, необходимости применения и разработке специальных технических средств, при оценке эстетических показателей качества и тому подобное. Экспертные методы могут сочетаться с другими методами или применяться как самостоятельный вид во время оценки качества нормативной документации на продукцию и продукции, определении номенклатуры показателей и коэффициентов их весомости, при выборе базовых образцов и показателей качества, во время определения и измерения показателей качества органолептическим методом, во время оценки единичных и комплексных показателей качества, определенных измерительным или расчетным методом.

Основой экспертной оценки качества является объективная общественная полезность продукции, которая отражает ее современность. Мнение о качестве продукции, которую выражает квалифицированный эксперт, отвечает общественным потребностям и совпадает с мнением массового потребителя.

Однако в выборе товара потребитель придерживается консервативной позиции и новую продукцию принимает осторожно, а иногда и вовсе не воспринимает. В заключении экспертов о качестве товара обобщается совокупность мнений потребителей продукции. Исследования показали, что зафиксированы оценки качества товара экспертов совпадают с оценками качества продукции, которые получили во время массового опроса потребителей. Определение точности экспертных исследований за соблюдение методологии проведения экспертизы показало, что она составляет 5-10%.

в Отношении качества продукции, ее потребительских свойств экспертные методы используют в таких случаях:

Определение номенклатуры показателей во время проведения экспертизы;

Выбор критериев оценки продукта или товара и размещения показателей по принципу иерархии;

Определение коэффициентов весомости показателей качества для определения уровня качества продукта, товара;

Исследование показателей органолептическим методом с применением методов их количественного выражения;

Оценка показателей качества измерительным, регистрационным, расчетным методами для определения комплексных показателей качества различных уровней иерархии.

Чаще всего применяются следующие экспертные методы:

Ведущего эксперта (единичного);

Комиссий;

комбинированный.

Метод ведущего эксперта дает возможность быстро провести экспертизу, сократить время на процедуру согласования и обсуждения, статистическую обработку данных членами группы. Однако результаты экспертизы, проводимой одним экспертом, зависят от уровня его профессиональных знаний, личности, уровня компетентности.

Метод экспертных комиссий предполагает участие группы специалистов, которые проводят анализ и оценку. Такой метод позволяет получить достоверные, объективные результаты, но требует значительных затрат времени на подготовку и организацию экспертизы. Количество экспертов, которые формируют комиссию, зависит от требуемой точности и надежности результатов экспертизы. Экспертная комиссия состоит из двух групп - рабочей и экспертной. Рабочая группа осуществляет подготовку, организацию и проведение экспертной оценки качества продукции, последующий анализ ее результатов. В состав рабочей группы входят организатор, консультант, который владеет профессиональными знаниями о продукции, оценивают технические работники. Экспертная группа может состоять из нескольких подгрупп, каждая из которых специализируется на решении соответствующих задач - определении номенклатуры показателей, оценке отдельных групп показателей и тому подобное.

Комбинированный метод, который основывается на последовательном использовании работы ведущего эксперта и небольшой по количеству экспертной комиссии, применяется в некоторых случаях.

в Общей классификации экспертных методов нет. Однако применяют классификацию в зависимости от соотношения количества данных, полученных экспертным или аналитическим методом, способа получения информации от эксперта и некоторых других факторов.

в Зависимости от способа получения от эксперта информации различают методы:

Коллективный;

Индивидуальный.

При коллективном способе технический работник проводит опрос сразу всей группы экспертов, при индивидуальном - каждого эксперта отдельно. Для получения достоверных результатов необходимо четко и правильно поставить цель и задачи эксперту, при групповом методе это трудно, однако возможно при постоянно сформированном составе группы. При индивидуальном способе применяют интервью, интервью-анкеты, анкетирование, смешанное анкетирование. Опросы могут проводить очным и заочным способом. При очном способе эксперт излагает свои суждения лицу, проводящему опрос. При заочном опросе контакт между ними отсутствует и эксперт заполняет сам анкету или карточку опроса.

Во время проведения интервью технический работник делает отметку в форме беседы, которая проходит по программе и определенному перечню вопросов. Во время проведения интервью-анкеты перечень вопросов носит более конкретный, направленный характер, последовательность вопросов жестко определена. Анкета заполняется в присутствии эксперта.

Анкетирование отличается тем, что эксперт самостоятельно заполняет анкету, имея пояснительную записку по заполнению. Смешанное анкетирование предполагает предварительное объяснение эксперта по заполнению анкеты с уточнением задачи.

По информативности наибольшие возможности имеют методы интервью, интервью - анкеты, анкетирование. Самая большая независимость суждений характерна для метода анкетирования.

Для решения сложных ситуаций неопределенности или во время формирования научно - технического прогноза экспертиза требует участия группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Основное преимущество коллективной оценки заключается в возможности разностороннего анализа количественных и качественных аспектов проблем. Существуют проблемы, решить которые невозможно без участия специалистов. Предполагается, что мнение группы экспертов надежнее, чем мнение отдельного индивидуума, т. е. две группы одинаково компетентных экспертов с большей вероятностью найдут объективное решение.

Комбинирование операций по подготовке и проведению опросов экспертов, а также технических операций позволило создать несколько экспертных методов, получивших наибольшее признание и распространение. К ним относятся методы Дельфи, ПАТТЕРН и комбинированный.

Метод Дельфи (в некоторых источниках - Дельфи) - метод опроса экспертов, основанный на последовательно осуществляемых процедурах, которые направлены на формирование группового мнения по процедурам с недостаточной информацией.

Метод Дельфи был разработан в американской исследовательской компании РЭНД Корпорейшн В.Хелмером, Н.Долки и Т. Гордоном. Он использовался для военного научно-технического прогнозирования будущего. Срок Дельфы происходит от названия городка в Греции, где жили оракулы при храме бога Аполлона.

Особенностями метода Дельфи является: отказ от совместной работы экспертов; анонимность оценок; регулируемый обратной связи; групповая ответ.

Отказ от совместной работы экспертов и анонимность достигаются тем, что каждый эксперт высказывает свое мнение в анкете, без группового обсуждения. Применяются и другие технические приемы индивидуального опроса, например, ответы на вопросы вводятся экспертами в ЭВМ. Это позволяет уменьшить расхождение индивидуальных оценок и получить групповой ответ, что правильно отражает мнение каждого эксперта.

Анонимность опроса позволяет уменьшить конформний авторитарный влияние отдельных доминирующих экспертов, регулируемый обратная связь уменьшает влияние индивидуальных и групповых интересов. Введение обратной связи также повышает критерий объективности и надежности оценок.

При использовании этого метода для целей экспертной оценки качества потребительских товаров оказываются следующие его недостатки: сложность опрос экспертов и заполнение анкет, трудоемкость оценки в связи с большим количеством показателей качества (иногда до 20-40) и заполнением нескольких анкет (3-10), громоздкость записей объяснений из-за отсутствия прямого контакта организатора с экспертами.

Метод перспективен для получения групповой экспертной оценки и углубленного анализа событий в ситуациях неопределенности.

Метод ПАТТЕРН - метод опроса экспертов, основанный на построении иерархической структуры - дерева целей - и вынесении постановления этих целей после открытого обсуждения.

Название метода состоит из первых букв английских слов, означающих "Помощь планированию путем количественной оценки технических данных".

Метод разработан в американской фирме "Хонкуелл" для оценки проектов новых систем вооружения. Метод имеет аналоги: ПРОФАЙЛ, во Франции - метод КПЭ, ПРОПЛЕН тому подобное.

Метод ПАТТЕРН предусматривает несколько этапов.

I этап - постановка основной проблемы, требующей решения, и разделение ее на ряд вторичных проблем первого, второго и т. д. порядка, которые затем делятся на более узкие задачи. Деление продолжается до тех пор, пока не будут получены простые элементы, которые могут быть оценены экспертами.

В результате такого деления получается иерархическая структура связанных друг с другом основных, вторичных проблем и задач, называемых деревом целей.

II этап - определение с помощью экспертов коэффициентов весомости (или значимости) каждого задания в отношении основной цели, при этом эксперты выносят решение после открытого обсуждения в экспертной группе.

Такое открытое обсуждение наряду с положительным фактором - взаимодействие экспертов, которые стремятся к принятию положительного решения, - имеет и негативные последствия из-за конформизма, т. е. искажения действительного мнения экспертов за счет внушения или приспособления к мнению большинства.

III этап - применение ЭВМ для обработки полученных данных и их анализа. Преимуществами метода ПАТТЕРН является упрощение процедуры экспертного опроса. Недостатки: отсутствие обоснований оптимального числа членов экспертной группы, а также методики отбора в экспертную группу компетентных специалистов; обработка результатов опроса без учета различий как отдельные эксперты; отсутствие барьеров для проявления конформизма экспертов; недостаточная разработка и неопределенность принципов построения дерева целей.

Поскольку методы Дельфи и ПАТТЕРН имеют существенные недостатки и не соответствуют полностью целям экспертной оценки, Ое. Л. Райхман и Г. Г. Азгальдов предложили комбинированный метод, в котором были использованы положительные особенности других экспертных методов и исключены их недостатки.

Комбинированный метод - метод, основанный на сочетании индивидуальных и коллективных экспертных оценок.

Преимуществами комбинированного метода, является достаточная гибкость, которая позволяет исключить ошибки при опросе экспертов и повысить достоверность результатов экспертизы, четкое определение стратегии путем классификации задач по степени значимости и операций по их выполнению, высокая воспроизводимость результатов.

К недостаткам метода относится багатоопераційність, которая требует значительных затрат времени и средств. Однако этот недостаток окупается повышенной достоверностью и восстановлению результатов.

Для оценки качества товаров комбинированный метод имеет общий алгоритм экспертных операций:

1. Этап подготовительный:

Формирование рабочей группы;

Формирование экспертной группы;

Классификация продукции и потребителей;

Построение структурной схемы показателей качества.

2. Этап получения индивидуальных экспертных оценок:

Выбор процедуры назначения оценок экспертами;

Выбор метода получения информации от эксперта и подготовка документов, необходимых для опроса;

Опрос экспертов.

3. Этап получения коллективных экспертных оценок:

Обобщения индивидуальных экспертных оценок;

Определение согласованности индивидуальных экспертных оценок;

Определение объективности коллективных экспертных оценок.

Для каждого этапа есть соответствующие задачи. В период подготовительного этапа решаются такие задачи, как определение функций и структуры рабочей группы, ее количественного состава, обязанностей отдельных членов. Определяются и разрабатываются принципы формирования экспертной группы: относительно количества экспертов, их профессиональной подготовки и тому подобное.

На втором этапе происходит определение техники опроса экспертов, оцениваются наличие контакта между экспертами, метод передачи информации и форма экспертных оценок. Эксперты могут определять оценки самостоятельно или после обсуждения с другими экспертами или ознакомления с анонимными экспертами. Оценки обосновываются, определяются в количественной форме и дихотомічній, где ответы даются в форме "да", "нет" или 0-1.

Рациональное использование информации, получаемой от экспертов, возможно при условии преобразования ее в форму, удобную для анализа, подготовки и принятия решений. Возможности преобразования информации в соответствующие формы зависят от специфических особенностей объекта, полноты данных о нем, надежности, уровня принятия решения, а также от принятого критерия, зависит от исследуемой проблемы.

Одним из элементов, общим для многих экспертных методов, является коэффициенте весомости.

Коэффициент весомости - количественная характеристика степени значимости конкретного показателя для оценки качества.

Определение коэффициентов весомости показателей качества производится экспертным методом. Коэффициенты весомости предназначены для повышения достоверности экспертной оценки качества товаров.

Каждый показатель занимает в номенклатуре показателей качества по значимости определенное место. Эксперты ранжирования показателей по степени значимости осуществляют на основании профессиональных знаний и умений. Кроме того, любой квалифицированный эксперт стремится оценить показатели качества обследованного товара с позиций массового потребителя.

Если эксперт имеет возможность сравнить и оценить возможные варианты действий, предоставляя каждому из них определенное число, то он обладает определенной системе или шкале предпочтений. Правильное применение шкал имеет важное значение для обеспечения точности экспертных оценок. Различают следующие типы шкал: номинальная, порядковая, интервальная, отношений. Но наибольшие преимущества перед другими имеет шкала порядка благодаря относительной простоте экспертной оценки показателей качества по степени значимости. Характеристики шкал приведены в табл. 1.1.

Шкала номинальных наименований используется для того, чтобы отличить один объект от другого. Объекты должны быть пронумерованы, однако цифрами обозначается объект, а не его количественная характеристика. Это более простой тип измерения, в котором числа или символы используются только для классификации объектов. Шкала может быть использована для цифрового кодирования отдельных свойств в анкетах, для определения коэффициентов весомости.

Шкала порядковая (рангов) - такой метод оценивания, при котором параметры, показатели или объекты, которые оцениваются, располагаются в порядке роста или снижения показателя параметра (показателя) или свойств объекта. Классическим примером оценивания с использованием порядковой шкалы является оценка твердости минералов по шкале Мопса (шкала относительной твердости состоит из 10 эталонов твердости, причем твердость талька принята за 1, алмаза - 10). Этот способ может использоваться при определении интенсивности цвета муки, аромата фруктовых соков, букета вин, консистенции сыров. Порядковая шкала имеет преимущества при ее применении для определения коэффициентов весомости, поскольку упрощается процесс упорядочивания показателей качества по значимости для потребителей.

Таблица 1.1. Типы шкал и их характеристика

Тип шкалы	Определение шкалы	Отношения, задаваемые на шкале
Номинальная	Простой тип измерения, в котором числа или символы используются только для классификации объектов.	Эквивалентность (=)
Порядковая (ранги)	Объекты одного класса находятся в соответствующем отношении 3 объектами другого класса (больше чем, больше преимуществ, сильнее и тому подобное). Если [А]>[В] для некоторых объектов классов А и В, то имеет место частично упорядоченная шкала.	Эквивалентность (=). Больше чем (>).
Интервальная	Порядковая шкала, которая разделена на известные расстояния между двумя любыми числами на шкале, нулевая точка шкалы и единица измерения выбираются произвольно.	Эквивалентность (=) Больше чем (>). Отношение любых двух интервалов известно.
Отношений	Интервальная шкала с применением истинной нулевой точки, отношение любых двух точек не зависит от единицы измерения.	Эквивалентность (=). Больше чем (>). Определено отношение любых двух интервалов. Определено отношение между любыми двумя точками.

При определении коэффициентов весомости показателей качества эксперты сначала оценивают наиболее важный из этих показателей (по их мнению) и присваивают ему определенное число, например 1. Все дальнейшие показатели оценивают в убиваючому или возрастающем порядке по степени значимости.

После этого данные всех экспертов усредняются по каждому показателю.

В практике оценки качества товаров часто используется метод определения коэффициентов весомости, названный "методом фиксированной суммы". Суть его заключается в том, что эксперты назначают коэффициент весомости показателей, входящих в показатель верхнего уровня, причем сумма этих коэффициентов должна быть равна заранее определенному числу.

"Метод фиксированной суммы" целесообразно применят только при небольшом количестве показателей.

Практический опыт показывает, что при экспертной оценке качества товаров целесообразно применять следующие процедуру определения коэффициентов весомости.

1. Предварительное ранжирования экспертами показателей однородной группы. Ранг 1 присваивается самому важному показателю, 2 - следующему по важности и так далее Если показатели равнозначны по значимости, то им присваиваются одинаковые ранги. Количество показателей в однородной группе должно быть 4 и более. При меньшем количестве ранжирование не проводится.

2. Определение экспертами коэффициентов весомости показателей. Показателю 1-го ранга присваивается коэффициент весомости 10. Коэффициент весомости следующего по важности показателя определяется как доля важности первого показателя. При определении третьего и последующих показателей учитывается их важность в сравнении с предыдущими. В результате этих последовательных действий эксперт определяет коэффициенты весомости единичных, а затем комплексных показателей качества.

3. Ознакомление экспертов с значениями коэффициентов весомости (их обоснованиями), назначенными другими экспертами.

Обоснование коэффициентов весомости - очень трудоемкая операция, поэтому применяется при ограниченном числе показателей (около 10- 15). Иначе экспертам предлагается дать обоснование только по некоторым показателям на их усмотрение.

4. Усреднение значений коэффициентов весомости, определенных всеми экспертами. Проводят технические работники путем расчета среднеарифметической или средневзвешенной В последнем случае учитывается комплексная оценка качества эксперта.

Недостатками шкалы является неточность ранговых оценок за отсутствия уравнения интервалов, невозможность расчетов даже средней арифметической величины.

Шкала интервалов. Это такой метод оценивания, при котором существенной характеристикой является разность между значениями оцениваемых параметров, которая может быть выражена числом единиц, предусмотренных этой шкале. С помощью такой шкалы проводят ранжирование объектов, а также в определенных единицах устанавливают, на сколько один объект больше другого. Примером шкалы интервалов является шкала Цельсия, которая разбита на 100 равных интервалов и применяется для характеристики таких свойств продукции, которые связаны с температурными режимами, например, морозостойкость синтетической кожи, минимальная температура морозильной камеры в холодильнике.

Шкала отношений позволяет достичь высочайшего уровня измерения. Это такой метод оценивания, при котором используется единица измерения, она применяется для большинства параметров, которые представляют собой физические величины: размер, вес, плотность, силу, напряжение, частоту и тому подобное. Результаты измерения по шкале имеют свойства чисел, которые можно подвергать статистической обработке. Примером такой шкалы является температурная шкала Кельвина, началом которой является абсолютный нуль.

При сравнении шкалы интервалов и отношений определено, что с помощью последней получаются более точные результаты. Кроме того, оценки, полученные по шкале интервалов, можно использовать с целью вычисления средних взвешенных величин, расчеты которых характерны для экспериментальных опросов. Шкала отношений может быть основной для экспертного метода, шкалу порядка можно применять при достаточном обосновании.

В практике экспертной оценки применяют два основных вида шкал-размерные и безразмерные. Данные безразмерных шкал выражают в долях единицы, процентах, баллах.

Математико-статистические методы обработки экспертных оценок - методы, предназначенные для повышения достоверности результатов оценки качества товаров экспертами.

Они подразделяются на четыре подгруппы: ранжирования, непосредственной оценки, последовательных предпочтений и парных сравнений.

Ранжирование - метод, основанный на расположении объектов экспертизы в возрастающем или убиваючому порядке.

Предназначен для решения многих практических задач, когда объекты, определяющие конечные результаты, не поддаются непосредственному измерению. Кроме того, отдельные объекты, характеризующихся различной природой, бывают несовместимыми, поскольку у них нет общей меры сравнения. Основанием для ранжирования является необходимость упорядочения любого объекта во времени и пространстве, а также в соответствии с измеряемой качества без проведения точных измерений. И наконец, в ситуации, когда качество, которое измеряется, в принципе не может быть измерено по причинам практического и теоретического характера.

Процедура ранжирования состоит в расположении объектов экспертом в наиболее рациональном порядке и присвоении им определенного ранга в виде числа натурального ряда. При этом ранг 1 получает наиболее важный объект, а ранг п - наименее важный. В результате получена шкала порядка, в которой число рангов равно числу объектов Если два объекта имеют одинаковые ранги, то им приписывают так называемые стандартизированные ранги, которые рассчитываются как среднее суммы мест объектов с одинаковыми рангами.

Например, шести объектам присвоены следующие ранги:

Объекты 2 и 5 поделили 2-е и 3-е места. их стандартизированный ранг будет равен

(2 + 3) /2 = 2,5.

Объекты 3, 4 и 6 поделили 4-е, 5-е и 6-е места, а их стандартизированный ранг равен 5:

(4 4-5 + б)/3 = 5. В результате получается следующее ранжирование:

Метод ранжирования редко применяется в чистом виде. Чаще всего он сочетается с методом непосредственной оценки или его модификациями (ранжированием по сумме оценок, комбинированным способом и др.).

Метод непосредственной оценки заключается в том, что диапазон изменения какой-либо количественной переменной разбивается на несколько интервалов, каждому из которых присваивается определенная оценка в баллах, например от 0 до 10. Шкала оценок может быть положительной и отрицательной, например, от +3 до -3.Эксперт должен включить каждый объект в определенный интервал в зависимости от его значения. Число интервалов, на которые разбивается весь диапазон изменения качества, может быть неодинаковым у разных экспертов. Отдельным экспертам разрешается оценивать одинаковым числом качественно различные факторы.

В некоторых случаях оказывается удобнее для выбора наиболее предпочтительного фактора сначала произвести оценку, а затем ранжирование.

Суммарные оценки рангов могут нормироваться, это позволяет установить более тесную связь между оценками, которые эксперты предоставили отдельным объектам. С этой целью оценки по всем объектам суммируются и в дальнейшем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки можно снова подвергнуть ранжуванню.

При проведении экспертизы несколькими экспертами стремятся получить усредненную оценку для каждого объекта. С этой целью нормированные оценки каждого объекта суммируются, полученная сумма делится на число экспертов. Второй способ определения зависимости между оценками факторов заключается в том, что важнейшему фактору дается оценка (устанавливается весомость) за определенным числом 1 или 10, следующие факторы оцениваются как доля важнейшего фактора. Преимущество метода в том, что облегчается процесс выбора оценок, потому что не нужно каждый раз сопоставлять весь ряд, а лишь учитывать значение первой и предыдущей по важности оценки. Оценки усредняются путем расчета средней арифметической.

Метод последовательных преимуществ - основанный на сравнении отдельного объекта с суммой последующих объектов для установления его важности. применяется при измерении уровня качества, оценке деятельности научных организаций. Метод имеет такое основное преимущество по сравнению с другими методами, которая дает возможность сопоставления и измерения качественно различных факторов.

Метод разработан В. Черчменом и Г. Акофом и предназначен для проведения сравнений с учетом определенных допусков.

Порядок представления результатов или их группировки не влияют на преимущества.

Процедура последовательных сравнений заключается в следующем. Эксперту представляется ряд объектов (показателей, факторов, результатов), которые необходимо оценить по их относительной важности (значимости), и он производит ранжирование. Наиболее важному объекту присваивается оценка, равная 1, остальных объектов - оценки ниже 1 до 0 в порядке их относительной важности. Затем эксперт устанавливает, является ли объект с оценкой 1 более важным, чем сумма последних факторов. Если важность объекта велика, то он увеличивает оценку, чтобы она была больше, чем сумма всех других.

Если значение объекта ниже, чем сумма всех других он корректирует оценки.

Таким образом, используемая процедура состоит в систематической проверке оценок путем их последовательного сравнения.

Метод последовательных предпочтений целесообразно применять, если число сравниваемых объектов не превышает 7. При большем количестве объектов их необходимо разбивать на подгруппы, которые включают 6 объектов. В тех случаях, когда это невозможно, следует использовать метод парных сравнений.

Метод парных сравнений - основан на сравнении объектов экспертизы попарно для установления наиболее важного в каждой паре.

Применяется с целью выявления преимущества среди значительного количества факторов, проблем, показателей. Эксперты могут просто проводить сравнение с констатацией превосходства одного фактора перед другим. Возможно применение специальной шкалы предпочтений, где каждая степень преимущества имеет свою определенную оценку.

Метод парных сравнений может использоваться и для установления суммарных рангов факторов.

Для облегчения процедуры составляют матрицы парных уравнений, в которых все объекты (факторы) записывают в одном и том же порядке дважды: в верхней строке и крайнем левом столбце. Каждый эксперт должен проставить на пересечении строки и столбца оценку для двух сравниваемых факторов. В зависимости от того, какой фактор является наиболее важным, эта оценка будет равна соответственно 1 или 0. В главной диагонали такой матрицы проставляются прочерки или нули (таблица. 1.2).

Таблица 1.2.

Каждая пара факторов может сравниваться единожды или дважды. Существуют различные варианты частичного парного сравнения: выбор предпочтительного объекта из заранее сгруппированных пар; частичное парное сопоставление одной группы объектов со всеми другими, тогда как остальные факторы сопоставляется с некоторыми другими; установление суммарных рангов факторов.

Метод парных сравнений иногда сочетают с предварительным ранжированием объектов, при этом парное сравнение используется для уточнения преимущества отдельных объектов. В этом случае строится дополнительная матрица, в которой указывается доля случаев, когда один фактор оказывается более значимым, чем другой, в общем числе полученных оценок.

Методы экспертной оценки показателей качества товаров - это методы определения действительных значений единичных и комплексных показателей качества.

Предназначены для определения значений показателя качества расчетным или эвристическим путем в случаях, когда использование измерительных методов невозможно или неэкономичное из-за чрезмерных расходов на их применения или длительного времени испытаний. Например, при определении вкуса и запаха пищевых продуктов используются только органолептические методы. Измерительные методы не дают точной надежной оценки, не смотря на повышенные затраты.

Для дифференциальной и комплексной оценки образцов, которые значительно отличаются по качеству, рекомендуется определять значение единичного показателя Р следующим образом:

где Р;5- базовое (эталонное значение).

Другой, более точный метод основан на исследовании показателей с целью определения видов зависимости и, т. е. с целью разработки формул для расчетов оценок показателей:

Оценка единичных показателей качества начинается с определения допустимых интервалов их изменения (Р; - Р;) Р; -наилучшее значение показателя, превышение которого нецелесообразно или невозможно. Принципы назначения максимально допустимого значения показателя зависят от цели оценки качества, при этом необходимо чтобы для всех показателей этот принцип был единым.

Повышение надежности экспертных оценок достигаете путем разделения сложных операций на простые, которые составляют многоступенчатую процедуру оценки допустимых значений показателя. Переход к каждому следующему уровню осуществляется после принятия согласованных решений на предыдущий.

Экспертная процедура определения допустимых значений показателей качества заключается в ряде операций:

выдачи экспертам анкет и пояснительных записок, в которых перечислены показатели качества и описаны принципы выбора допустимых значений показателей;

заполнения экспертами анкет и указания конкретных моделей продукции, значения которых они считают предельно допустимые;

ознакомление каждого эксперта с оценками, указанными другими экспертами, и их обсуждение;

проведение второго (иногда третьего и четвертого) тура анкетирования;

Усреднение результатов оценки.

При значительной разнице мнений проводится дополнительный тур голосования. Значение показателя берется за максимальное, если за него подано не менее 70% голосов. При невыполнении этого условия за максимально допустимое значение принимается среднее из 50% наибольших значений рімакс, за минимальное допустимое значение - среднее из 50% наибольших значений значения используются экспертами при определении оценок показателей качества К.

Для определения экспертами вида зависимостей (и) между значением показателей Г; и их оценкам К нередко используется "главный метод точек". Необходимость его использования обусловлена тем, что разделение процедуры оценки на несколько этапов упрощает работу эксперта и позволяет ему дать оценки некоторым характерным точкам, исходя из которых можно построить модель действительной величины.

"Метод главных точек" в зависимости от их числа имеет несколько разновидностей.

"Метод трех главных точек" - основан на разделении значений показателей Г; на максимальное, минимальное, среднее значения и определении значений оценок Р; в этих точках. Интервал шкалы между максимальной и минимальной точками задается заранее (шкалы 0-1 или 0-10). В задачу эксперта входит также определение тенденции зависимости в интервале между главными точками и построение графика. После этого от графической зависимости можно перейти к аналитической формулы для расчета оценок показателя качества Кі "Метод трех главных точек" позволяет разработать лишь приближенную модель оценки.

"Метод семи главных точек" - метод оценки по семибалльной шкале оценки показателей, значения которых определены экспериментальным или расчетным путем, а также органолептическим методом.

Семибальна шкала является равномерной, то есть при переходе от одного класса качества в другой оценка меняется на один балл. Эти шкалы нашли широкое применение, особенно при органолептической оценке. Для получения более точных результатов следует перейти к определению вида зависимости между оценками и баллами.

Для облегчения работы эксперта в пояснительной записке к анкете приводят пять графиков. Эксперт выбирает кривую (или комбинацию кривых), которая лучше всего, по его мнению, отражает характер зависимости и Затем каждому класс качества назначается оценка в соответствии с характеров зависимости и значениями показателей качества. При этом целесообразно пользоваться числами в интервале 0-10, кратными 0,5, причем класс "высочайшее качество" получает оценку 10.

Таким образом, график, построенный экспертом, характеризует зависимость между абсолютными значениями показателей Pi и их оценками К;, а для показателей, оцениваемых органолептическим методами, - между классами качества и их оценками.

В заключение проводится обсуждение полученных результатов, их обработка и анализ. Для показателей, которые определяются измерительным и расчетным методами, желательно дать аналитическое описание кривых, что позволяет рассчитать оценку для любых значений показателей.

Применение "метода главных точек" дает возможность осуществлять группировку и классификацию показателей по видам зависимости.

Определение комплексных показателей качества осуществляется двумя видами методов:

методами комплексной оценки качества образцов товаров;

методами построения моделей комплексных показателей качества.

Методы комплексной оценки качества имеют две разновидности - экспресс-метод и методы движения по уровням без подготовки и с подготовкой.

Экспресс-методы комплексной оценки качества образцов товаров основаны на определении комплексного показателя качества путем анализа значений отдельных единичных показателей и внешнего вида без предварительной их оценки и с учетом коэффициентов весомости.

При использовании этих методов необходимо учесть, что предельным количеством оцениваемых показателей даже для высококвалифицированного эксперта 7-9 показателей, расположенных на одном уровне иерархии, которые составляют довольно однородную группу. Кроме того, эксперты должны учитывать важность отдельных показателей с помощью коэффициентов весомости, взаимосвязь между ними, а также рассматривать качество товара как систему.

Метод движения по уровням без подготовки является комплексом операций, которые осуществляются последовательно, с постепенным повышением уровня. При этом анализ начинается с нижнего уровня дерева показателей. С учетом значения показателей нижнего уровня эксперт дает оценку показателям вышележащего уровня. Эти операции повторяются с повышением уровня до тех пор, пока не будет достигнут верхний уровень - комплексная (обобщенная) оценка качества.

Метод движения по уровням с подготовкой основан на предварительном определении экспертами коэффициентов весомости показателей качества и их оценок. При назначении комплексных оценок эксперту известны средние значения коэффициентов весомости и оценки единичных показателей. Процедура определения комплексных показателей аналогична процедуре метода движения по уровнях без подготовки.

Формализация процесса экспертной оценки заключается в нахождении зависимости между значениями показателей качества Г; (или их оценкам К) и показателем качества вышележащего уровня, т. е. в определении вида решающей функции, которой пользуются эксперты при назначении комплексных показателей. При этом решающая функция, как и любая модель упрощает объект исследования, поскольку учитываются не все показатели и связи между ними.

Исходными данными для определения вида функции могут служить результаты оценки качества различных образцов экспресс-методами или методами движения по уровням. Тогда оценки, назначенные экспертами, сводятся в общую матрицу, каждая строка которой является набором оценок единичных показателей образца и комплексных экспертных оценок. На основании этого могут быть разработаны машинные алгоритмы и составлены программы для нахождения решающих функций с помощью ЭВМ .