Оценка проектного персонала: не забыть бы, для чего это делается. Часть 3. Участники, процесс и инструменты оценки компетенций

Продолжаем серию публикаций от практика с 20-летним опытом работы Михаил Козодаева, Руководителя направлений консалтинга и КСУП ГК “Проектная ПРАКТИКА”.  В третьей части статьи о модели компетенций Михаил расскажет – какие шаги нужно предпринять, чтобы модель оценки проектных компетенций решала свои задачи

Полезность разработанной модели оценки компетенций будет существенно снижена, если не определить: чьими силами будет организована оценка, какие шаги будут приняты и какие инструменты оценки использованы.

Чтобы модель оценки проектных компетенций можно было применять и решать с помощью нее соответствующие задачи, необходимо сформировать в организации комплексную систему оценки проектных компетенций. Ее элементы кратко описаны ниже.

Основные участники процесса оценки компетенций

Нередко создатели системы оценки проектных компетенций концентрируются исключительно на модели оценки и пренебрегают остальными элементами системы, проработка которых при детальном рассмотрении оказывается не менее сложной и важной.

Применение модели связано с заметным включением в процесс оценки целого ряда специалистов, в т.ч. высококвалифицированных и ценных для организации. Более того, в ряде случаев их включение абсолютно необходимо, но может быть невозможно в требуемом для оценки объеме. Поэтому следует четко определить набор выполняемых ими действий.

В общем случае в процессе оценки компетенций заняты, в т.ч. роли (см. Рис. 2), описанные в таблице ниже.

Табл. 2. Ключевые участники процесса оценки компетенций

Роль		Основные функции
1	Оцениваемый	прохождение оценки, участие в мероприятиях, предусмотренных по итогам оценки
2	Представитель делового окружения	оценка демонстрируемых в рабочем процессе компетенций сотрудника
3	Эксперт	оценка/подтверждение степени владения компетенциями сотрудником в ходе прохождения тестовых испытаний, например, на основе оценки решений кейсов или тестовых заданий
4	Руководитель, принимающий решение по итогам оценки	рассмотрение и анализ результатов оценки, при необходимости корректировка результатов с учетом дополнительных факторов, не учитываемых моделью компетенций, принятие решения по итогам оценки
5	Методолог	разработка, анализ корректности применения всех элементов системы оценки проектных компетенций с учетом стоящих перед организацией целей, при необходимости доработка системы
6	Администратор процесса оценки	информационное и организационное сопровождение процесса оценки, сбор и консолидация результатов оценки, подготовка отчетов по результатам оценки

Рис.2. Ролевая структура СОПК

Всех участников процесса оценки можно разделить на несколько групп:

1. те, кого оценивают (оцениваемые):

• как отмечалось выше, в зависимости от типа бизнеса организации, целей, стоящих перед оценкой проектных компетенций, состав оцениваемых может сильно отличаться;
• в зависимости от выбранной подгруппы оцениваемых должна соответственно настраиваться как модель, так и остальные элементы системы оценки проектных компетенций

2. те, кто оценивает (деловое окружение и привлеченные эксперты):

• деловое окружение: коллеги, работающие вместе с оцениваемым и способные оценить его деловые качества – коллеги, находящиеся на одном уровне иерархии, руководители и подчиненные оцениваемого, а также представители внешних организаций-контрагентов (заказчики, подрядчики, партнерские организации);
• эксперты: специалисты, привлеченные к процессу оценки, заведомо владеющие оцениваемыми компетенциями на высоком уровне и/или технологией оценки (в отдельных случаях могут привлекаться внешние консультанты)

3. те, кто принимает управленческое решение по итогам оценки (руководители, ответственные за достижение целей, стоящих перед оценкой; как правило, они являются ключевыми заинтересованными в применении модели проектных компетенций лицами):

• ответственные за качество проектного управления;
• ответственные за мотивацию персонала;
• ответственные за развитие персонала

4. те, кто определяет методику оценки:

• представители проектных структур, глубоко знающие применяемые и требуемые подходы к управлению проектами в организации – методологи системы управления проектами организации;
• HR-специалисты, лучше понимающие возможные подходы к оценке и способные увязать систему оценки проектных компетенций с общей оценкой сотрудников организации;
• руководители, определяющие цели проведения оценки и требования к СОПК (условно отнесены к данной группе, т.к. обычно функция целеполагания и определения требований рассматривается вне системы);
• привлеченные консультанты, помогающие выстроить СОПК, привнося в решение задачи свой аналогичный опыт

5. те, кто организационно обеспечивает проведение оценки (администраторы):

• сотрудники, за которыми закреплены функции администрирования процесса оценки – могут назначаться ответственные от подразделений, отвечающих за функционирование системы управления проектами организации (например, от проектного офиса), за управление персоналом, а также могут назначаться ответственные в рамках выделенных функциональных подразделений;
• возможны ситуации, когда к администрированию процесса оценки привлекаются внешние специалисты на условиях аутсорсинга.

Оцените сотрудников проекта

Процесс оценки компетенций

Процесс оценки компетенций может быть описан также, как и любой другой процесс, путем определения участников процесса, их действий, параметров выполняемых действий (сроки, результаты, показатели качества).

Процесс оценки компетенций укрупнено выглядит следующим образом (см. Рис. 3):

• возникновение потребности в оценке,
• сбор информации об оцениваемом,
• прохождение оцениваемым процедуры оценки,
• анализ результатов испытаний и собранной информации,
• выработка управленческих решений,
• анализ эффективности и доработка СОПК (выполняется параллельно с остальными шагами).

Рис.3. Схема процесса оценки компетенций

Возможна ситуация, когда оценка проектных специалистов проводится каждый раз по уникальной схеме. Тогда имеет смысл выделить дополнительный шаг, на котором проводится определение такой схемы – шаг «определение», который может располагаться или «до» или «сразу» после момента возникновения потребности в оценке.

Ниже для каждого шага сформулированы основные вопросы, ответы на которые позволяют выстроить процесс оценки проектных компетенций и сформулировать дополнительные требования к составу модели компетенций

Предложенные варианты ответов (их перечень не претендует на полноту) могут помочь разработчику процесса оценки не упустить важные нюансы.

Считаем, что на остальные вопросы, необходимые для разработки модели компетенций, например, о том, для специалистов каких категорий мы применяем модель компетенций, ответы уже сформулированы. При этом, состав модели компетенций, а также остальные элементы СОПК взаимоувязаны и влияют друг на друга. Если выделяется шаг «определение», то именно в рамках этого шага определяются или уточняются ответы на приведенные ниже вопросы

Возникновение потребности в оценке

Потребность в оценке проектного персонала может быть разовой, предполагающей решение локальной задачи, или периодической, привязанной к временному периоду.

Вопрос 1. Что является основанием для проведения оценки компетенций?

Возможные ответы:

1. начало/окончание заданного периода оценки: квартал, полугодие, год;
2. необходимо принять решение об условиях работы сотрудника:

• решение о приеме специалиста на работу;
• аккредитация специалиста для работы в проектах Заказчика;
• окончание испытательного срока;
• выраженное желание специалиста по изменению условий работы, изменению грэйда;

3. необходимо сформировать оптимальную команду при запуске проекта;
4. необходимо оценить качество обучения, пройденного специалистом.

Сбор информации об оцениваемом

Вопрос 2. Какая и из каких источников собирается дополнительная информация об оцениваемом?

Возможные ответы:

1. информация об опыте специалиста и о демонстрируемом уровне владения компетенциями из следующих источников:

• прежние работодатели;
• заказчики и руководители в интересах или при участии которых оцениваемый ранее выполнял свои функции;
• представители делового окружения, принимающие участие в оценке «360 градусов»;
• отчеты о выполненных проектах;
• проектные артефакты – документы, формируемые в рамках проектной деятельности;
• портфолио специалиста – свод ключевых фактов, отражающих достижения специалиста в организации.

2. Сбор в требуемом объеме такой информации об оцениваемом производится параллельно с прохождением им процедуры оценки.

Прохождение процедуры оценки 

Вопрос 3. Какие инструменты оценки предполагается применять?

Возможные ответы:

1. комбинация инструментов для всех сотрудников: тестирование, решение кейсов, проведение интервью, асессмент центр и др.;
2. для разных категорий специалистов применяется особый набор инструментов.

Вопрос 4. Кто принимает участие в процессе оценки?

Возможные ответы:

1. оцениваются только руководители проектов, занятые на внутренних проектах;
2. администратор процесса оценки и эксперты назначаются из проектного офиса;
3. деловое окружение представляют ответственные от функциональных подразделений – заказчиков проектов;
4. руководитель проектного офиса, отвечающий за анализ результатов и формирование итоговой оценки;
5. заместитель генерального директора, курирующий проектную деятельность и принимающий решение по результатам оценки, представляемой руководителем проектного офиса;
6. внешние исполнители для оценки не привлекаются.

Вопрос 5. Какие допущения и ограничения накладываются на процесс оценки?

Возможные ответы:

1. считаем результаты оценки объективными, если в оценке каждого специалиста принимали не менее двух экспертов;
2. для обеспечения режима неразглашения содержания тестовых вопросов и кейсов, а также результатов оценки все участники процесса оценки подписывают соглашение о неразглашении;
3. персональные результаты оценки могут быть доступны только оцениваемому, функциональному руководителю оцениваемого и высшему руководству организации;
4. для проведения оценки используются только настроенные средствами Excel инструменты.

Анализ результатов испытаний и собранной информации

Вопрос 6. Каковы методика анализа и требования к форме результатов оценки?

Возможные ответы:

1. применяется единая шкала оценки по каждой компетенции;
2. при формировании интегральной оценки по компетенции результаты выполненных тестов, решенных кейсов и оценок, полученных от делового окружения, имеют одинаковый вес;
3. руководитель проектного офиса в праве по своему усмотрению изменить результаты интегральной оценки по одной или нескольким компетенциям, но не более чем на 20% относительно расчетной величины;
4. при формировании общей оценки сотрудника оценка по приоритетным компетенциям имеет в два раза бóльший вес по сравнению с остальными компетенциями;
5. итоговый отчет должен содержать для каждого сотрудника информацию в разрезе всех компетенций по самооценке, оценке деловым окружением, оценке по результатам испытаний, оценке на основании дополнительно собранной информации, а также информацию об управленческом решении, вынесенном в отношении данного сотрудника по итогам оценки.

Выработка управленческий решений

Вопрос 7. Какие решения должны быть приняты по результатам оценки?

На этот вопрос необходимо получить ответ еще при разработке модели. Он по своей сути близок к рассмотренному в разделе 2 вопросу о том, какие цели стоят перед СОПК. С позиций процесса оценки правильнее было бы ответить на следующий вопрос, обозначенный как «Вопрос 8».

Вопрос 8. Рассматриваются ли мероприятия, выполняемые во исполнение принятого по результатам оценки компетенций решения, в рамках процесса оценки?

Возможные ответы:

1. процесс оценки заканчивается принятием решения по результатам оценки и доведением принятого решения до всех заинтересованных сторон, включая оцениваемого; все действия, направленные на исполнение принятого решения, рассматриваются в рамках иных процессов;
2. в рамках процесса оценки компетенций проводится мониторинг исполнения принятых решений, предполагающих проведение повторной оценки; по результатам оценки, например, может проводиться обучение специалистов; все остальные мероприятия рассматриваются вне данного процесса.

Анализ эффективности и доработок СОПК

В рамках данного шага методолог СОПК совместно с ключевыми заинтересованными лицами анализирует проведенную оценку на предмет:

1. корректности модели оценки компетенций – определения соответствия результатов оценки и эффективности работы специалиста;
2. оптимальности процесса оценки – определения соотношения длительности, трудоемкости, стоимости процесса оценки и полезности/применимости результата, а также выявления возможностей упрощения процесса без снижения полезности результата.

По результатам анализа, проводимого параллельно с другими шагами процесса, в СОПК могут вноситься изменения.

Инструменты оценки компетенций

При выборе наиболее подходящих инструментов оценки компетенций следует отталкиваться от состава модели компетенций, оцениваемых ролей, ограничений процесса оценки и пр. Обычно, для оценки применяется не один, а совокупность инструментов.

При выборе инструментов стоит обратить внимание на объективность и достаточность результата оценки с точки зрения достижения целей СОПК, а также на трудоемкость применения инструмента.

Так, например, оценка решений кейсов обычно даёт довольно объективные результаты по блоку индикаторов «умения». Но, в тоже время, может быть принято решение об отказе от этого инструмента из-за чрезмерно больших трудозатрат эксперта, необходимых для проверки решений кейсов.

Как правило, для оценки знаний, умений и навыков используются отдельные инструменты. Причем при должном старании можно один и тот же инструмент применить для оценки, например, и знаний, и умений. Но опыт показывает, что настройка инструмента для такого применения оказывается чрезмерно сложной, а результат оценки не обладает должной объективностью.

Оцените сотрудников, участвующих в проектной деятельности

В нашей практике применялись инструменты оценки, приведенные в Табл. 3.

№	Инструмент оценки	Личностные компетенции	Проектные компетенции
			знания	умения	навыки
1	Тестирование (профессиональное и личностное)	+/-	+	–	–
2	Решение кейсов	+/-	+/-	+	–
3	Оценка деловым окружением (360⁰)	+	+/-	–	+
4	Деловые игры	+	–	+	+/-
5	Интервьюирование	+	+	+	+/-
6	Анализ портфолио	–	–	–	+

В Табл. 3 «+» означает применимость инструмента для оценки соответствующей группы компетенций, «-» – неприменимость инструмента, а «+/-» – применимость, но либо с рядом ограничений, либо с невысокой степенью объективности результатов.

Тестирование лучше подходит для оценки знаний. Существует много специальных тестов для определения личностных компетенций, но интерпретация результатов таких тестов далека от однозначности, поэтому для такой оценки тестирование следует применять крайне осторожно.

Решение кейсов позволяет довольно точно оценить умения. Но этот инструмент предполагает довольно большие трудозатраты как оцениваемого, так и эксперта. Для оценки знаний и личностных качеств анализ кейсов применяется крайне редко, т.к. это предполагает анализ по косвенным признакам, что является довольно субъективным и требует применения сложных специальных методов анализа.

Оценка деловым окружением обычно применяется для оценки навыков и личностных качеств. Данный инструмент предполагает субъективную оценку, проводимую деловым окружением, поэтому для расчета итоговой оценки рекомендуется учитывать мнение максимального числа респондентов. При наличии хорошо проработанных форм оценки и однозначно понимаемых критериев представители делового окружения не должны тратить значительное время на оценку. Однако в силу привлечения большого количества участников оценки, процедура оценки может быть сложной с точки зрения организации коммуникаций.

Деловые игры – инструмент, позволяющий оценить личностные компетенции и умения сотрудника. Оценка других компетенций с помощью этого инструмента затруднительна. К недостаткам инструмента можно отнести сложность оценки большого числа компетенций за одну игру. Такой инструмент можно рекомендовать когда:

• необходимо быстро провести оценку сразу большого количества людей;
• проводится оценка сотрудников, работающих на разных удаленных друг от друга площадках и разово собравшихся вместе на небольшой промежуток времени, а в силу территориальной распределённости администрирование проведения других видов оценки затруднительна;
• деловая игра преследует цель не только проведения оценки, но и привития сотрудникам специальных навыков.

Как показано в Табл. 3, наиболее универсальным инструментом является интервьюирование. К сожалению, это одновременно и один из самых трудозатратных инструментов. Кроме того, для повышения объективности оценки необходимо, чтобы интервьюер обладал не только значительным опытом и знаниями в проектном управлении, но также и специальными навыками проведения интервью. С учетом вышесказанного, интервьюирование можно рекомендовать в качестве дополнительного инструмента оценки в случае, если требуется оценить небольшое количество сотрудников или для ситуаций, когда точность оценки особо важна.

Анализ портфолио неплохо позволяет оценить демонстрируемые навыки сотрудника, но только в том случае, если процесс сбора информации для портфолио поставлен на системные рельсы и выполняется на регулярной основе. В таком портфолио должны фиксироваться ключевые достижения и неудачи сотрудника, артефакты, проявляемые в ходе реализованных проектов, отзывы делового окружения и прочая информация. Чаще анализ портфолио и другой доступной информации применяется не для формальной оценки компетенций, а при принятии управленческих решений по итогам проведенной оценки с помощью других инструментов.

Из нашего опыта следует, что наиболее точную оценку компетенций позволяет получить комбинация инструментов: тестирование, решение кейсов и оценка деловым окружением, – т.к. вместе они «закрывают» все группы компетенций. Такую комбинацию можно рассматривать как базовую. В случае наличия существенных ограничений по срокам и трудоемкости процесса оценки, число инструментов можно сократить. 

Михаил Козодаев, Руководитель направлений
консалтинга и КСУП ГК «Проектная ПРАКТИКА»

По этой теме запланирована серия уникального и практически полезного материла. В следующей статьей Михаил Козодаев подробно расскажет об участниках, процессе и инструментах оценки компетенций. Следите за нашими выпусками!

Ознакомиться с предыдущими выпусками

Часть 1

Часть 2

Часть 4