Не останавливаясь на процессе организации и проведения обучения, полностью определяемом обучающей организацией, рассмотрим существующие подходы к оценке результативности проведенного обучения. Существует несколько всемирно признанных моделей [Королёва О.Б. Подготовка персонала. Оценка результативности подготовки персонала // Методы оценки соответствия (РИА Стандарты и качество) №3] - четыре уровня Киркпатрика; возврат на инвестиции Филипса, целевой подход Тайлера, модель Скривенса, нацеленная на результат, модель Стафлебима CIPP, которая расшифровывается следующим образом: контекстное оценивание, оценивание на входе, оценивание процесса и оценивание продукта, а также другие модели.
Модель Киркпатрика.
С 1959 года для оценки результативности обучения широко применяется Модель Киркпатрика, предусматривающая четыре уровня оценки:
Уровень 1. Реакция - понравилось ли обучение участникам и почему (чаще применяется форма анкетирования как участника обучения, так и его руководителя.
Уровень 2. Усвоение (обучение) - что нового и полезного было усвоено в процессе обучения.
Уровень 3. Поведение - что изменилось в поведении обучавшегося (применение полученных знаний и навыков).
Уровень 4. Результат - повлияло ли на эффективность организации (сокращение затрат, уменьшение сроков, улучшение качества продукции (услуг)).
К сожалению, такая модель не позволяет принимать информированное решение о вложении средств до того, как эти средства не будут вложены и не будет виден результат тренинга. Только так можно ответить на вопрос: «Стоил ли того тренинг?». Если ответ «нет», то в любом случае уже слишком поздно и деньги уже потрачены.
Уровень 4 интересен, прежде всего, для акционеров и руководителей, которым важно, чтобы все, что отвлекает сотрудников организации от выполнения основных обязанностей, было оправдано. Поэтому для них оценка эффективности тренинга необходима, чтобы принять решение о целесообразности вложения денежных средств в это мероприятие. Правда полная оценка займет очень много времени и на повседневную работу его не хватит. Поэтому необходимо установить баланс между обычной работой и проведением оценки эффективности тренинга.
Модель Филипса.
Уровень 4 Модели Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. В 1991 году Джек Филипс добавил в эту систему 5-й уровень с названием «Возврат на инвестиции (R01)». Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства? Формула расчета проста:
R01 = Доходы от обучения работников/Затраты на обучение
Существенным недостатком этой формулы является трудность определения доходов от обучения, так как в явном виде эти доходы не определяются, и, их приходится считать различными косвенными способами. Время расчёта R01 при этом весьма велико.
Модель Тайлера
Тайлер считает, что одной из главных проблем в области образования является неконкретное, расплывчатое определение целей образовательных программ. Под «целями» понимаются задачи обучения. Этот целевой подход лежит в основе процесса оценки Тайлера, который состоит из следующих шагов:
- 1. Постановка четких целей и задач.
- 2. Классификация этих целей и задач.
- 3. Определение целей и задач в терминах поведения.
- 4. Поиск ситуаций, в которых можно проверить, насколько цели достигнуты.
- 5. Определение техники оценивания.
- 6. Сбор данных, касающихся эффективности обучения.
- 7. Сравнение данных об эффективности обучения с данными об эффективности достижения желаемых моделей поведения.
Различия данных должны вести к внесению изменений в программу, после чего цикл оценивания повторяется.
Это очень напоминает уровень 3 Модели Киркпатрика, только гораздо подробнее. Оценивание непосредственно обучения начинается где-то между шагами 3 и 5. Желательно также провести предварительное оценивание по шагам 1-3. На шаге 7 можно сравнить модели поведения после проведения мероприятия с теми, которых планировалось добиться обучением, а не с теми, которые были до обучения.
Тем не менее, поведенческие цели и задачи в рамках этой модели практически не связаны с результатами, влияющими на эффективность обучения по R01 (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т.д., у Тайлера ничего не сказано.
Модель Скривенса.
Модель Скривенса, нацеленная на результат, требует внешнего оценщика, не осведомленного о поставленных перед обучением целях и задачах. Он должен определить ценность программы по итогам обучения.
С одной стороны это удобно, в частности, когда упор делается на эффективность работы компании - проверить эффективность программы проще, когда перед глазами эффективность отдельного сотрудника или эффективность достижения поставленных целей. Но в этом случае оценка может быть необъективной и не в должной мере подробной. Эта модель по определению не может предсказать результаты обучения или использоваться для расчета коэффициента ROI, поскольку практически не имеет отношения к определению истинных причин низкой эффективности или нежелательных моделей поведения.
Модель Стафлебима.
Модель Стафлебима CIPP известна как системная модель и состоит из четырех основных компонентов:
Контекст - определяется цель, преследуемая аудиторией, и потребности, которые должны быть удовлетворены.
Вход - определяются ресурсы, возможные альтернативные стратегии, а также самый простой способ удовлетворить установленные потребности.
Процесс - оценивается, насколько хорошо выполняется разработанный план.
Продукт - оцениваются полученные результаты (достигнуты ли цели, вносятся поправки в порядок разработки плана).
Эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.
В отличие от моделей Филипса и Киркпатрика в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидации», чтобы не путать с «оцениванием», то есть акцент делается на результате.
Кроме этих и других моделей для оценки качества обучения можно воспользоваться показателями, опубликованными и добавляемыми в Библиотеке ключевых показателей результативности на сайте www.kpilib.ru. Например: Эффективность затрат на управление персоналом. Данный показатель позволяет сформировать интегральную оценку качества работы службы управления персоналом за отчетный период. Показатель рассчитывается, как отношение относительного изменения индекса качества персонала к относительным изменениям совокупных затрат на управление персоналом.
Другой показатель из этой библиотеке таков: Индекс компетентности персонала. Показатель представляет собой экспертную оценку уровня знаний, умений и навыков персонала предприятия. Данная оценка может формироваться по результатам аттестации или оперативно по любой известной методике руководителями подразделений предприятия. Измеряется раз в год.
Измерение результативности отдельных учебных курсов - только один из возможных подходов к оценке качества обучения в организации. Он наиболее актуален, когда целью учебы является развитие «технических» умений и навыков.
Как правило, при этом сотруднику отводится достаточно пассивная роль в обучающем процессе - определили потребности в обучении, подобрали вариант обучения, посетил обучение, измерили результат.
Существует альтернативный подход к обучению и, соответственно, к измерению его эффективности. Перед человеком очерчивается контур корпоративных стандартов, и оценивается общее соответствие этим стандартам. Такой подход актуален прежде всего в компаниях, где успех зависит от свойств личности в целом, а не от владения узким функционалом. В этом случае вполне адекватным выглядит, например, решение выделить определенный бюджет и передать каждому специалисту полную ответственность за составление и реализацию собственной учебной программы.
Этот подход в различных организациях может реализовываться по разному, однако в любом случае организация, да и не только организация в целом, но и её структурные подразделения, в частности, согласно МС ИСО 9001:2008, должны реально оценивать результаты обучения. Необходимость такой оценки диктуется несколькими причинами, среди которых можно выделить две основных:
- - необходимость убеждения в том, что затраты предприятия на обучение сотрудников не пропали даром;
- - необходимость убеждения в том, что после обучения сотрудник способен выполнять свои новые обязанности по должностной инструкции.
Иными словами, после обучения сотрудников в организации должна быть проведена верификация обучения; руководство организации и её подразделений должно убедиться в том, что установленные требования по обучению выполнены.
Рассмотрим это на примере ООО "ТК "ЛИНКОТ", г. Екатеринбург .
В ООО «ТК “ЛИНКОТ”» обучение разделяется на краткосрочное (от 1 до 5 дней) и долгосрочное (несколько модулей по 3 дня). В зависимости от формы обучения используются различные методики оценки его результативности и эффективности.
Особенности организации процесса обучения.
На начальном этапе исходя из целей предприятия и подразделений определяются задачи обучения. Далее в компании предпринимаются следующие шаги:
- - анализ потребностей в обучении;
- - определение целевых групп;
- - планирование программы обучения;
- - выбор методов обучения;
- - анализ обучающих организаций (тренеров, преподавателей), часто объявляется тендер для корпоративного обучения;
- - обеспечение, организация обучения;
- - оценка обучения.
Заместитель директора по персоналу осуществляет контроль и координацию всех стадий организации процесса.
Оценка результативности обучения.
Методы измерения результативности краткосрочного и долгосрочного обучения различны. В первом случае оценка базируется на информации, касающейся приобретаемых знаний и навыков, практической ценности данного мероприятия, полученной от сотрудника, прошедшего обучение, и непосредственного руководителя. По окончании долгосрочного обучения обязательно оценивается эффективность, результативность деятельности сотрудника, посещавшего семинары, курсы или тренинги.
Критерии результативности краткосрочного обучения.
1. Удовлетворенность сотрудника, прошедшего обучение.
Для оценки сотрудники после обучения заполняют специальные анкеты (анкета оценки обучения) и сдают их в службу управления персоналом, в которой проводится анализ и расчет результативности по данному критерию, выявляются причины неудовлетворенности и делаются выводы.
Анкета оценки обучения (заполняется сотрудником)
Участник обучения (Ф.И.О.)
Подразделение, должность Тема обучения Дата обучения
Место проведения (город, учебное заведение)
|
Критерий оценки |
Замечания |
|
|
1. Соответствие содержания курса ожиданиям |
||
|
2. Актуальность полученных знаний |
||
|
3. Соответствие содержания курса программе |
||
|
4. Новизна полученной информации |
||
|
5. Понятность изложенного материала |
||
|
6. Практическая ценность материала |
||
|
7. Смогли бы вы внести предложения по повышению результативности вашей деятельности? |
||
|
8. Насколько обучение способствовало развитию навыков, каких именно? |
||
|
9. Насколько обучение способствовало совершенствованию личных качеств? |
||
|
10. Удовлетворённость полученными материалами |
||
|
Сумма баллов |
||
|
Результативность обучения, Р с |
Результативность обучения, сотрудника (Р с,%) рассчитывается по формуле
- 2. Ваши предложения по улучшению деятельности (отдела, подразделения) с учетом полученных при обучении знаний:
- 3. Оценка качества преподавания:
4. Ваши пожелания по совершенствованию обучения:
Дата_Подпись_
2. Эффективность внесенных обучившимся предложений по усовершенствованию его профессиональных навыков, повышению эффективности деятельности сотрудника, отдела, подразделения или выполнение данным работником специального задания.
Сотрудник, прошедший обучение, выносит на рассмотрение руководства предложения по улучшению деятельности (отдела, подразделения) с учетом полученных знаний, которое оценивается с точки зрения эффективности. Другой вариант: служба персонала совместно с руководителем разрабатывает специальное задание в соответствии с целями пройденного обучения. Устанавливается срок его выполнения и далее оцениваются результаты.
3. Удовлетворенность руководителя результативностью обучения.
Непосредственный руководитель заполняет анкету результативности обучения, проводит оценку в баллах. Желательно это делать через 2-3 недели или месяц после обучения.
Подведение итогов оценки.
Далее проводится анализ полученных данных (возможно сравнение результатов удовлетворенности обучившегося и руководства) и делаются выводы о качестве обучения. На заключительном этапе происходит анализ всех данных и дается окончательная оценка эффективности проведенного краткосрочного обучения.
Для подведения итогов оценки сотрудника можно использовать следующую последовательность действий:
- - провести оценку работника по каждому критерию;
- - рассчитать результативность по каждому критерию в процентах;
- - установить вес - степень значимости каждого показателя для предприятия;
- - оценить общую результативность, полученную из расчета по всем критериям с учетом значимости;
- - оценить эффективность обучения для данного сотрудника по формуле:
* Затраты на обучение оцениваются исходя из его стоимости, суммы командировочных расходов и т. д.
Степень общей эффективности обучения устанавливается в результате оценки по всем критериям. Пример расчета результативности краткосрочного обучения приведен в таблице. 12.
Таблица 12
Результативность краткосрочного обучения_
Вес критериев определяется для каждой организации индивидуально. Сумма весов не должна превышать 1.
Критерии результативности долгосрочного обучения При долгосрочном обучении, помимо вышеописанных критериев краткосрочного обучения, дополнительно используются следующие.
1. Приобретение обучающимся необходимых знаний, навыков и качеств.
Для оценки приобретенных сотрудниками знаний возможно проведение экзамена. Лучше всего использовать профессиональные тесты (часто в организациях они разрабатываются непосредственными руководителями или ведущими специалистами в данной области деятельности). Оценка навыков и качеств вызывает определенные трудности. Во-первых, она должна проводиться через определенный период времени, например, через 1-2 месяца после обучения (в зависимости от должности и вида обучения). Во-вторых, для этого необходимо планировать финансовые и временные ресурсы (она довольно трудозатратна). Прежде чем оценивать навыки и качества после обучения, необходимо выявить степень их развитости до него и сравнить результаты. Кроме этого, важно определить сроки проведения оценки (через какой период времени после обучения).
В этих целях могут применяться оценка по методу “360 градусов” или обычные методики: кейсы, групповые и индивидуальные упражнения, наконец, ассессмент-центр.
2. Эффективность деятельности сотрудника, прошедшего обучение.
По этому критерию в компании оценивается результативность (эффективность) деятельности сотрудника после обучения, которая выражается:
- - в повышении норм выработки;
- - росте производительности;
- - сокращении времени, затрачиваемого на выполнение работ, проектов;
- - сокращении финансовых затрат (например, при работе над проектом);
- - увеличении объема продаж (для менеджеров, начальника отдела продаж).
Новым для компании стал расчет следующих показателей по оценке эффективности обучения за год:
1. Общая результативность обучения сотрудников предприятия:
где К1 - количество работников, обучение которых оценено как результативное, равное или выше установленного норматива (определяется по вышеперечисленным критериям);
К2 - общее количество работников, прошедших обучение за данный период.
2. Эффективность обучения сотрудников предприятия:
где К1 - количество работников, обучение которых оценено как результативное;
3 - затраты на обучение в год.
Для того чтобы установить норматив эффективности обучения, показатели оценивались в течение нескольких кварталов. Важно анализировать их в динамике. Показатели ниже нормативных свидетельствуют о необходимости анализа и выявления причин такой результативности.
3. Для некоторых групп обучаемых можно посчитать возврат инвестиций в обучение. Для менеджеров по продажам это могут быть показатели роста прибыли, объема реализованной продукции (рассчитываются при отсутствии изменений во внешней среде, например, появления нового конкурента на рынке, резкого изменения спроса на продукцию), отнесенные к затратам на обучение.
Отчет об оценке результатов обучения может включать: список сотрудников с графиком их обучения; критерии оценки;
анализ собранных данных по оценке и интерпретацию результатов;
анализ эффективности обучения с учетом затрат на него; выводы и рекомендации по совершенствованию процесса обучения.
Вопросы для самопроверки
- 1. Опишите понятие «качество производства».
- 2. Опишите понятие «качество трудовой жизни».
- 3. Опишите понятие «качество жизни».
- 4. Покажите взаимосвязь между этими понятиями.
- 5. Дайте определение обратной связи с подчинёнными.
- 6. Охарактеризуйте положительную и отрицательную обратные связи, укажите условия их применения.
- 7. Опишите анкетирование, интервью, - общение "через голову" и ящик для предложений.
- 8. Опишите "горячую линии", "мозговой штурм" и дискуссионное совещание.
- 9. Опишите модели оценки результативности обучения Киркпатрика и Филипса.
- 10. . Опишите модели оценки результативности обучения Скри- венса и Стафлебима.
Традиционные подходы к оценке эффективности мероприятий по обучению персонала заключаются в том, что по окончании обучения (семинаров, тренингов, курсов, школ и т.п.) слушатели, как правило, дают свою оценку в виде интервью или заполнения анкет, отвечая на вопросы и выбирая один из предложенных вариантов оценки (баллы):
соответствие содержания обучения ожиданиям (потребностям) слушателей;
применение активных методов обучения;
применение современных средств обучения;
связь образовательных мероприятий с рабочим местом;
качество раздаточных материалов (рабочих тетрадей и т.п.);
оптимальность количества обучаемых в группе;
организационные условия для проведения занятий;
квалификация преподавательского состава и т.п.
Слушатели ставят организаторам и преподавателям балльную оценку в виде уровня удовлетворенности обучением.
Кроме того, к традиционным методам оценки эффективности обучения персонала можно отнести наблюдение, статистический анализ, самоотчет, тестирование и т.п. Особый интерес для нас представляет анализ нетрадиционных методов оценки эффективности обучения персонала, таких как:
методика Дональда Киркпатрика;
методика Джека Филипса;
методика бипараметрической оценки;
оценка эффективности обучения в рамках комплексных систем оценки типа BSC, KPI;
модель оценки Блума.
Модель Киркпатрика, описанная в книге «Четыре ступеньки к успешному тренингу» предполагает оценку по четырем уровням. Эти уровни определяют последовательность проведения оценки обучения. Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным". Вот четыре уровня по версии автора:
Уровень 1 – Реакция (Reaction)
Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. Он подчеркивает, что реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.
Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
Уровень 2 – Научение (Learning)
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
Уровень 3 – Поведение (Behavior)
На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы.
Уровень 4 – Результаты (Results)
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Он настаивает на том, что результаты не следует измерять в деньгах.
По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
если возможно, использовать контрольную группу (не проходившую обучение);
проводить оценку через некоторое время, чтобы результаты стали заметны;
проводить оценку до и после программы (если это возможно);
провести оценку несколько раз в ходе программы;
сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).
Методика Джека Филипса – это использование различных формул для измерения отдачи на капитал, вложенный в персонал (ROI):
Оценка инвестиций в кадровый отдел = расходы службы персонала/операционные расходы.
Оценка инвестиций в HR-подразделения = расходы службы персонала/количество работников.
Показатель отсутствия на рабочем месте = прогулы, отсутствие без предупреждения + количество сотрудников, уволившихся неожиданно.
Показатель удовлетворенности – число сотрудников, удовлетворенных своей работой, выраженное в процентах. Определяется методом анкетирования.
Критерий, выявляющий единство и согласие в компании. Подсчитывается на основе статистических данных по производительности и оценке эффективности труда.
Мак Ги предлагает бипараметрическую оценку, то есть рассматривает результативность и эффективность обучения, он также вводит понятия результативности и эффективности и как их оптимальное сочетание вводит понятие производительности обучения .
Методика измерения эффективности должна учитывать специфику обучающих мероприятий, спектр которых достаточно широк.
Если стоит задача – оценить успешность мероприятий через снижение стоимости бизнес-процесса (правда это только частный случай – снижение издержек), то оптимальным будет следующий набор формул для оценки эффективности обучения.
Частный экономический эффект (E) от мероприятия по обучению персонала, вызвавшего изменение стоимости данного бизнес-процесса можно определить следующим образом:
где– стоимость бизнес-процесса (единицы производимой продукции) до обучения, ден. ед.;
–стоимость бизнес-процесса после обучения, ден. ед.
Определение абсолютного значения эффекта позволяет лишь выяснить тенденции, масштаб и направление эффекта от обучения (положительный, нейтральный, отрицательный), поэтому целесообразно сопоставить значение эффекта с затратами, направленными на обучение персонала.
Интерпретация результата: если Е ≥ 0 – следовательно, успех был достигнут, по крайней мере, цель снижения издержек была достигнута, однако – вопрос цены. Поэтому – необходимо определить чистый эффект. Чистый частный экономический эффект от мероприятий по обучению персонала определяется следующим образом:
где– стоимость бизнес-процесса (единицы производимой продукции) до обучения, ден. ед.;
–стоимость бизнес-процесса после обучения, ден. ед.;
–стоимость программы обучения (затраты компании на содержание учебного центра), ден. ед.
Определение абсолютного значения частного эффекта позволяет сравнить результат от деятельности с затратами на обучение (превышают выгоды затраты или нет).
Интерпретация результата: если≥ 0 – следовательно положительный результат был достигнут, по крайней мере, снижение издержек превысило затраты – деятельность приносит чистый эффект.
Данная последовательность расчетов целесообразна для оценки эффективности обучения именно линейного персонала, например, в результате проведения тренинговых мероприятий, скорость обслуживания клиентов увеличилась, качество обслуживания клиентов (при этом качество может оцениваться снижением количества ошибок, жалоб клиентов) улучшилось и т.д.
Более традиционный для восприятия и простой в интерпретации – показатель доходности (рассмотрим как типичный показатель для бизнеса – соотношением чистого дохода к затратам):
Доходность (возврат на инвестиции в обучение) выражается в процентах.
Интерпретация результата: если > 0 – следовательно вид деятельности доходен, иначе – затраты на обучение не возвращаются в виде дополнительного эффекта.
Этот показатель удобно применять в случае сопоставления нескольких вариантов или реализованных мероприятий.
Оценка эффективности обучения в рамках комплексных систем оценки типа BSC, KPI. Часто оценивая отдельные направления развития компании, в современном менеджменте применяются комплексные системы оценки, включающие ряд частных показателей, отражающих эффективность подразделений, в рамках моделей которых, удачно применяются методы комплексной оценки, например, выясняя вклад тех или иных подразделений в общий результат деятельности. Среди вышеназванных моделей можно отметить применимость каждой из них для решения задач оценки эффективности обучения персонала, выделив подотдел, отвечающий за обучение, определенный набор целевых показателей, позволяющих дать оценку именно этому подразделению компании.
Например, выделив некоторые количественные и качественные показатели данному подразделению, предполагая, что мероприятия по обучению персонала скажутся на этих показателях, мы сможем дать оценку эффективности данных мероприятий в комплексе и по каждому отдельному эпизоду, связанному с обучением. Четко определив корреляцию этих показателей с показателями эффективности подразделений, прошедших обучение, мы сможем проанализировать эффективность работы по обучению персонала в целом на предприятии.
Данные методики сложны к применению, вследствие широты спектра действия, однако, при умелом их использовании достигается не только интуитивная их понятность, адекватность и согласованность, что в целом, позволяет решить обозначенную выше проблему. Разработка системы показателей позволит не только всесторонне оценить, но и в режиме реального времени отслеживать уровень эффективности данных мероприятий.
Любой HR понимает, что нет смысла проводить обучение без дальнейшей оценки его эффективности.С точки зрения бизнеса измерение эффективности методов развития придает финансовый смысл данным мероприятиям, позволяет компании измерять рентабельность инвестиций. Но есть и другие причины.
Оценка эффективности обучения укрепляет веру сотрудников в необходимость применения знаний, т.к. дает понимание важности изменений для руководства (сродня эффекту контроля). А с точки зрения менеджера по обучению (развитию) персонала процедура оценки определяет дополнительные потребности в обучении, проверяет методологию обучения и позволяет оценивать прогресс.
Благодаря анализу эффективности развития удается выявить устаревшие методы обучения и искоренить работу по типу «процесс ради процесса».
Способы оценки эффективности методов развития
Персонал оценивают в двух направлениях: количественные и качественные показатели .
Нельзя сказать, что какой-то из показателей менее важен, особенно когда целью развития персонала становится повышение результативности работы, следовательно, и прибыли компании. Если не оценивать оба параметра, как правило, инвестиции на обучение становятся не более чем благотворительностью. Честно говоря, в таком случае более результативно было бы перевести эти деньги, например, в фонд спасения животных, так от них было бы больше толку.
Процесс анализа результата придает смысл процедуре обучения, ведь именно для достижения результатов оно и затевалось.
Методы оценки качественных показателей
Вопросник для оценки после обучения
Это один из самых простых и популярных методов. Обычно он строится на серии вопросов, которые задают учащимся.
Например: что они думают о преподавателе, материале, стиле презентации и о чем-либо еще, связанном с программой обучения. Вопросник легко использовать и он дает немедленные результаты.
Сравнение до и после
Данный метод предполагает оценку знаний сотрудников до применения метода развития, а затем выполнение аналогичного теста после тренировки.
При разработке таких оценочных тестов следует иметь в виду ряд правил:
1. Вопросы должны быть короткими.
2. Тест не должен занимать более 10-20 минут.
3. Вопросы необходимо сосредоточить на основных задачах курса. Это позволит четко увидеть, какая информация была воспринята участниками. Но тут важно быть аккуратным в суждениях, ведь материал может быть не воспринят как по причине сотрудника (например, прослушал), так и по вине тренера (не расставил акценты должным образом).
4. Тест необходимо сформулировать на простом и понятном языке.
5. Продуктивнее смешивать истинные, ложные вопросы и с вариантами выбора.
Текущая оценка
Метод сочетает оценку до и после занятий. Как правило, такую оценку проще проводить тренеру или менеджеру по обучению. По завершению информационного блока участникам задают несколько открытых вопросов.
Например:
Такой опрос позволяет менеджеру по обучению корректировать программу, опираясь на ее воспринимаемость: заменять темы или возвращаться к пройденному материалу. Данный подход позволяет получить максимальную отдачу как менеджеру по обучению (в виде результата), так и обучающимся (в виде знаний и умений). При многодневном обучении оценку поводят в конце дня, чтобы внести необходимые изменения в работу группы на следующий день.
Анализ по модели Киркпатрика
Методика оценки Карпатрика уже давно и успешно используется многими HR-ами для изучения эффективности развития персонала. Модификаций и способов применения методики очень много, но за основу берется последовательное измерение:
1. Реакции на обучение.
Оценивается насколько программа курса устраивает обучающихся, как они реагируют на обучение и как планируют использовать знания в работе.
Практика показывает, чем больше мотивация на обучение, тем сильнее реакция на него и выше его оценка сотрудниками. Максимальной мотивации можно достичь, давая прозрачное разъяснение важности изучаемого блока для реализации основного функционала. Если сотрудник слабо понимает силу влияния того или иного процесса на работу, то положительной реакции ждать не стоит.
2. Усвоения материала.
Этап предполагает изучение мнений о доступности и конкретности пройденного курса обучения.
3. Перемены поведения.
Важно понимать, как меняется деятельность людей после обучения, применяются ли новые методики, правильно ли используются, в нужное ли время.
4. Улучшения результата.
Во время оценки необходимо понять, как обучение улучшило показатели бизнеса: понимают и предпринимают ли сотрудники действия, необходимые для достижения результата, владеют ли они всеми знаниями, умениями и навыками для реализации этих действий и осознают ли важность их применения, хотят ли выполнят данные действия.
Опираясь на теорию Кирпатрика, можно создать матрицу оценки эффективности любого метода развития персонала.
| Тема обсуждения/анализа с сотрудниками | Что оценивать | Комментарии |
| Цели компании | Понимание и осознание целей. | Любое обучение организовывается для достижения целей предприятия. Если сотрудник не понимает ради чего его учат, то информация пройдет мимо. |
| Что они должны сделать, чтобы прийти к цели | Четкое, структурированное описание порядка действий. С ответами на вопросы: как, зачем, почему и когда. | Если у коллектива не прозрачного и детализированного понимания того, что нужно сделать, чтобы повлиять на результат – они просто не смогут это реализовать. |
| Чем обучение помогло для выполнения вышеперечисленных действий | Понимают ли сотрудники новый материал и видят ли целесообразность его применения в работе. | Информация даст понимание ценности программы для работников и качества преподнесения материала. |
| Какие возможности видят для себя в применении материала. | Достаточен ли уровень мотивации на применение знаний. | Люди выполняют работу с полной отдачей только, когда их греет ее результат и возможности, которые он открывает. |
Методы оценки количественных показателей
Обучение – достаточно дорогое удовольствие, оно потребляет ресурсы времени, оборудования и персонала. Именно поэтому оценка окупаемости должна быть неотъемлемой частью любой учебной программы. В этом вопросе также поможет модель Кирпатрика. Ее доработали и добавили еще один этап – окупаемость обучения (ROI).
ROI рассчитывает так: (выгоды – затраты)/затраты * 100%
Пример расчета^
Допустим, для обучения сотрудников был нанят тренер. Стоимость его работы 30000 рублей. Для обучения потребовался инвентарь на 3000 рублей. Аренда аудитории для тренинга обошлась еще в 5000 руб. Итого расход составил 38000 руб. За первый месяц после обучения, специалисты научились продавать дополнительные услуги и вместо привычных 50 000руб. получили оплату счетов на сумму 100 000 руб.Таким образом, прибыль от обучения составила 50 000 руб.
В данном случае коэффициент окупаемости рассчитываете так: (50 000 – 38 000)/38000 = 0,315. Для того чтобы понять процент, умножим на 100. Таким образом, коэффициент окупаемости тренинга, начиная с первого месяца, составил 31%. Получается, если суммы оплат дополнительных услуг клиентами не будут уменьшаться и в последующие месяцы, то тренинг окупится примерно за 3 месяца, а дальше будет приносить прибыль.
Интерпретировать показатели ROI достаточно просто, если результат получился больше 100% , то вложения окупаются.
Каждый руководитель определяет для себя самостоятельно, какую окупаемость и за какой промежуток времени считает приемлемой.Для более точных расчетов в расходы можно добавить стоимость упущенной выгоды за время обучения и оплату труда за этот же период.
Ведь во время обучения сотрудники не приносят прибыль, но получают привычный оклад. Таким образом, можно сравнивать эффективность разных программ обучения и выбирать для себя ту, которая имеет наибольший процент возврата.
Дополнительные критерии оценки эффективности обучения персонала
Количественной оценке может подвергаться не только финансовая составляющая. Оценка эффективностиуместнав различных показателях, рассмотрим некоторые из них.
Анализ процента брака продукции, количества персонала и текучести кадров. В конечном итоге данные показатели ведут к анализу снижения затрат на данные процессы.
Продолжительность применения знаний– немаловажный параметр оценки эффективности развития персонала. Чем дольше коллектив использует новинки в работе, тем дольше держится положительный эффект. Следовательно, после оценки можно сделать выбор в пользу той программы, которая оставляет после себя более длинный хвост.
Изменение скорости выполнения задач или реакции на внеплановые ситуации. Статистика говорит, что многие компании привыкли работать в форс-мажорах, но не все с ними справляются должным образом: кого-то такие ситуации на долго выбивают из колеи. Важно оценить понижение затрат на последствия из-за ошибок.
Если организация в ходе своей деятельности активно использует оборудование, то оно периодически приходит в негодность. Увеличение срока службы оборудования в результате применения эффективных методов развития персонала также подлежит оценке.
Обучение без анализа его результатов также бессмысленно, как оценка окупаемости без дальнейших действий по улучшению. А оценка качественных показателей поможет понять, какие методы необходимо скорректировать, а возможно и полностью заменить.
Оценка эффективности обучения является важным этапом процесса обучения персонала. Ее смысл состоит в том, чтобы установить, какую пользу от обучения работников получает организация, или выяснить, является ли одна форма обучения более эффективной, чем другая. Раз на учебу затрачены деньги, то следует точно знать, что же взамен сможет получить организация.
Информацию, полученную в результате оценки эффективности конкретных учебных программ, необходимо анализировать и использовать при подготовке и проведении аналогичных программ в будущем. Оценка эффективности обучения работников организации позволяет постоянно работать над повышением качества обучения, избавляясь от таких учебных программ и форм обучения, которые не оправдали возложенных на них надежд.
В идеале оценку эффективности обучения следует производить постоянно, в качественной либо количественной форме оценивая влияние обучения на такие показатели работы организации, как продажи, качество продукции и услуг, производительность труда, установки работников и др.
Основная причина, по которой организация должна оценивать эффективность учебных программ, - это выяснение того, в какой степени в итоге были достигнуты цели обучения. Учебная программа, которая не позволяет достичь требуемого уровня рабочих показателей, сформировать необходимые навыки или установки, должна быть изменена или заменена другой программой. Не всегда организация после обучения своих работников добивается желаемого результата. В этом случае возникает необходимость выявления причин неуспеха. Даже хорошие программы могут потерпеть неудачу по многих причинам: могут быть поставлены нереалистичные или слишком общие цели обучения, может быть плохо организован сам процесс обучения, возможны срывы по причинам, находящимся вне контроля тех специалистов, которые занимаются организацией обучения (например, болезнь преподавателя, поломки оборудования или ошибки людей) и др. Выявление причин, по которым данная программа обучения потерпела неудачу, и их анализ, позволяют предпринять в будущем необходимые корректирующие меры.
Оценка эффективности обучения может проводиться с помощью тестов, опросников, заполняемых обучающимися, экзаменов и т.п. Оценивать эффективность обучения могут как сами обучающиеся, так и руководители, специалисты отделов обучения, преподаватели, эксперты или специально созданные целевые группы.
Можно выделить пять критериев, обычно используемых при оценке эффективности обучения. Данные представлены на рисунке 1.5.
Рассмотрим эти критерии.
Мнение обучающихся. Выяснение мнения обучающихся о той учебной программе, по которой они только что прошли обучение, о ее полезности, интересности является принятой практикой во многих организациях.
Рисунок-Критерии, используемые при оценке эффективности обучения
Это предполагает выяснение их мнения по следующим вопросам:
Качество преподавания (квалификация преподавателя, стиль преподавания, используемые методы обучения);
Общие условия и обстановка во время обучения (физические условия, отсутствие отвлечений и т.д.);
Степень достижения целей обучения (соответствие ожиданиям слушателей, готовность слушателей использовать результаты обучения в практике своей работы).
При оценке мнений исходят из того, что если программа обучения понравилось участникам, значит, она является достаточно хорошей. Мнение обучающихся рассматривается как оценка экспертов, способных объективно оценить учебную программу по предлагаемым критериям (показателям). Обучающимся обычно предлагают по завершении обучения заполнить специально разработанные анкеты, где могут содержаться, например, следующие вопросы:
Насколько полезной для вас была эта программа?
Насколько интересным было обучение?
Насколько актуальной была тематика обучения? и т.п.
Ответы слушателей могут дать важную информацию об их отношении к обучению, к тому, как был преподнесен материал преподавателем, и выявить их готовность к использованию полученных знаний и навыков в своей работе.
Усвоение учебного материала.
Чтобы оценить степень усвоения слушателями учебного материала, преподаватель или организатор учебы должен ответить на два главных вопроса:
Что должен уметь делать ученик, чтобы продемонстрировать, что он усвоил предмет?
Что должен знать обучающийся? На какие вопросы он должен быть способен дать ответы?
Именно полнота усвоения знаний и прочность приобретенных навыков является теми показателями, на основе которых оценивается успех обучения. Оценить полноту усвоения учебного материала можно при помощи устных опросов, контрольных работ, тестирования, устных или письменных зачетов и экзаменов. Как письменная, так и устная форма проверки знаний предполагает, что обучающимся задают разнообразные вопросы.
К сожалению, большинство российских компаний не делает практически никаких попыток выяснить, в какой степени был усвоен учебный материал работниками, прошедшими обучение. Часто приходиться сталкиваться с тем, что процедура "зачета" или "тестирования", которыми пугают слушателей, на деле оказывается чистой формальностью - зачет получают все, а заполненные бланки с результатами тестирования прямым ходом, без проверки отправляются в корзину. Конечно же, и такая форма "контроля усвоения" имеет право на существования - в этом случае она выполняет функцию повышения мотивации слушателей к обучению. Но если можно взять от этой процедуры гораздо больше, то не следует от этого отказываться.
Поведенческие изменения. В соответствии с этим критерием определяется, как изменяется поведение работников после прохождения курса обучения, когда они возвращаются к своей работе. К примеру, обучение технике безопасности должно иметь итогом более высокий уровень соблюдения правил обращения с горючими или ядовитыми веществами; обучение вождению - овладение навыками вождения, безопасная езда; тренинг делового общения - уменьшение числа конфликтов в организации, более высокий уровень сотрудничества между работниками организации.
Рабочие результаты.
Эффективность программы обучения можно оценить также и по результатам производственной деятельности тех, кто прошел обучение. Если результаты работы организации, подразделения или отдельного работника улучшаются, то это и есть та реальная выгода, которую получает организация в результате обучения. Стимулом для того, чтобы начать обучение персонала, может быть слишком высокий уровень отходов или брака. При этом целью обучения работников будет сокращение отходов, например, с 10 до 3 процентов. Если такой результат достигнут, можно считать, что обучение было успешным. Успех курса по маркетингу можно оценить через определение объема продаж или через оценку степени удовлетворенности покупателей, выявленную в результате их опроса. Можно предложить непосредственным руководителям работников, прошедших обучение, оценить, насколько хорошо они применяют те знания, которые они получили за время обучения. Такую процедуру оценки можно повторить через какое-то время (через 1 месяц, 3 месяца, 6 месяцев или больше).
Эффективность затрат.
Программы обучения следует также оценивать на предмет эффективности затрат. Обучение должно быть выгодным для организации, то есть надо стремиться к тому, чтобы выгоды, которые будут получены по завершении обучения, превосходили затраты на проведение обучения.
Например, в компании "Хониуэлл" эффект воздействия программы обучения на повышение производительности труда и качества продукции определяется по формуле:
Э=П х N х V х K - N х З, (1.1)
где П - продолжительность программы (в годах); N - количество обученных работников; V - стоимостная оценка различий в результативности труда лучших и средних работников (долл.); К - коэффициент прироста результативности в результате обучения: З - затраты на обучение одного работника (долл.).
Обучение должно быть составной частью работы организации, неотделимой от ее основных целей. Обучение стоит денег, но эти вложения окупаются через повышение производительности, качества, удовлетворенности потребителей. Кроме того, и сотрудники высоко ценят те возможности, которые им открывает обучение.
Можно выделить следующие показатели эффективности обучения и методы их расчета (таблица 1.5):
Таблица 1.5 - Показатели эффективности обучения и методы их расчета
|
Направление оценки |
Показатель |
Метод расчета |
|
Расходы на обучение |
Доля расходов на обучение |
Отношение расходов на обучение к общим расходам |
|
Расходы на одного работника |
Расходы на обучение, поделенные на число обученных сотрудников |
|
|
Расходы на обучение в расчете на час занятий |
Общие расходы на обучение, поделенные на общее время обучения |
|
|
Отдача на вложения в обучение |
Достигнутая экономия по отношению к затратам на обучение |
Общая экономия за счет использования неиспользованных ранее ресурсов или предотвращения потерь, поделенная на сумму расходов на обучение |
|
Процент улучшения производственных показателей после обучения в расчете на один курс |
Процент работников, улучшивших производственные показатели (разница в показателях до и после обучения |
|
|
Доход в расчете на одного работника за год |
Общий доход или объем продаж, поделенный на общее число работников |
|
|
Прибыль в расчете на одного сотрудника за год |
Общая годовая прибыль до выплаты налогов, поделенная на общее число работников |
|
|
Обеспеченность квалифицированными специалистами |
Число сотрудников отдела обучения на 1000 работников компании |
Численность отдела обучения, поделенная на общее число работников х 1000 |
|
Оценка работы отдела обучения |
Удовлетворенность со стороны потребителей услуг отдела обучения и развития персонала |
Отношение числа потребителей услуг отдела обучения, давших оценку «хорошая работа» или «эффективная работа», к общему числу потребителей, заполнивших оценочные листы |
Понятно, что для разных видов оценки критерии будут несколько различаться. Например, для оценки первичного обучения критерии могут быть следующими: знание продуктов и услуг, профиль личности, коммуникативные навыки взаимодействия с клиентами; активность в учебном процессе. А для оценки практики, мониторинга и плановой оценки могут также добавиться такие критерии как стремление к развитию, соблюдение корпоративной культуры и т.д.
Процедура оценки эффективности обучения обычно состоит из четырех этапов, которые представлены на рисунке 1.5.
Рисунок - Этапы процедуры оценки эффективности обучения
1. Определение целей обучения. Процесс оценки эффективности обучения начинается уже на этапе планирования обучения, при определения его целей. Цели обучения задают стандарты и критерии оценки эффективности учебных программ.
Для любой организации обучение сотрудников не может быть самоцелью. Обучение персонала, как и другие звенья системы управления коллективом (подбор кадров, мотивация, стимулирование, контроль), должно быть направлено на реализацию общей цели, т. е. обеспечение результативной работы и активного развития организации.
Еще на этапе подбора кадров организация получает сведения, позволяющие наметить действия по обучению и повышению квалификации сотрудников. Отношение руководителей организации к обучению работников связано с пониманием того, какую выгоду в результате получит организация и какие затраты на обучение персонала она понесет.
Выгода организации от обучения персонала:
- Возможность успешно справляться с проблемами, связанными с новыми направлениями деятельности, повышать конкурентоспособность.
- Снижение текучести кадров, повышение престижа организации.
- Приобретение персоналом навыков адаптации к постоянно меняющимся социально-экономическим условиям и, соответственно, укрепление позиций организации.
Польза от обучения для работников:
- Повышение удовлетворенности в своей работе.
- Повышение квалификации, компетентности, самооценки.
- Возрастание карьерных перспектив в своей организации и за ее пределами.
Затраты на повышение квалификации персонала на предприятии
Обучение сотрудников не только приносит выгоду, но и связано с определенными издержками. Затраты, связанные с обучением персонала, могут быть прямыми и косвенными.
- Прямые: оплата работы преподавателей, учебных материалов; оплата аренды помещений.
- Косвенные: выплата зарплат обучающимся сотрудникам, освобожденным от работы; выплата премий сотрудникам, выполняющим работу отсутствующих коллег.
Эффективность обучения персонала
Анализ эффективности обучения сотрудников компании – важный этап в работе системы управления предприятием или учреждением. Оценивать эффективность обучения необходимо, чтобы определить, получает ли организация от этого какую-либо пользу, и являются ли применяемые в организации формы обучения результативными.
Мониторинг эффективности обучения персонала позволяет своевременно принять меры по улучшению качества обучения, коррекции форм и методов обучения. Оценка эффективности обучения персонала в каждой конкретной организации требует выбора наиболее подходящих методов оценки. Высчитать финансовые показатели эффективности обучения сотрудников достаточно сложно, особенно там, где люди занимаются умственным трудом.
Традиционными методами оценки эффективности обучения сотрудников являются тестирование, наблюдение, самоотчет, статистический анализ и др. Среди нетрадиционных методов зарекомендовали себя методики:
— Д. Киркпатрика (оценка по 4 уровням: реакция, научение, поведение, результат);
— Дж. Филипса (оценка с применением формул, позволяющая измерить отдачу на вложенный в персонал капитал);
— М. Ги (бипараметрическая оценка) и др.
Обучение и переподготовка кадров будут эффективными, если затраты на них в будущем окажутся ниже издержек организации на улучшение производительности труда с помощью других факторов и затрат, связанных с ошибками в подборе кадров.