Как оценить эффективность обучения сотрудников: метрики и модель Киркпатрика
Эффективность обучения сотрудников нельзя определить только по посещаемости, числу завершённых курсов или оценке участников. Эти показатели описывают проведение программы, но не доказывают, что сотрудники освоили нужные навыки, применили их в работе и повлияли на целевой результат.
Оценка эффективности обучения — это сопоставление ожидаемого и фактического изменения на нескольких уровнях: от опыта участника и усвоения материала до рабочего поведения и результатов организации.
Что такое эффективность обучения сотрудников
Эффективность обучения показывает, насколько программа помогла достичь заранее определённых учебных и рабочих результатов.
Для оценки необходимо сопоставить:
- какую проблему или потребность должна была решить программа;
- какое знание, навык или поведение требовалось сформировать;
- что изменилось у участников после обучения;
- применяется ли новое поведение в работе;
- изменился ли связанный рабочий показатель;
- какие другие факторы могли повлиять на результат;
- соответствует ли полученный эффект использованным ресурсам.
Эффективность нельзя свести к одной универсальной цифре. У обязательного курса по требованиям безопасности, программы развития руководителей и обучения работе в новой системе будут разные цели, сроки проявления результата и методы проверки.
Эффективность и результативность обучения
В практической работе эти понятия часто используют как близкие. Однако полезно различать:
- результативность — достигнуты ли запланированные цели;
- эффективность — насколько обоснованно использованы время, деньги и другие ресурсы для достижения результата.
Программа может быть результативной, но чрезмерно дорогой. Или дешёвой и хорошо организованной, но не приводящей к нужному изменению поведения.
Что именно можно оценивать
| Уровень | Основной вопрос | Примеры данных |
|---|---|---|
| Реализация | Состоялась ли программа по плану? | Назначения, участие, завершение, сроки, затраты |
| Опыт участника | Было ли обучение понятным, релевантным и доступным? | Опросы, комментарии, обращения, наблюдения |
| Усвоение | Освоил ли участник требуемое знание или навык? | Задания, тесты, симуляции, демонстрация навыка |
| Применение | Используется ли новое поведение в работе? | Наблюдение, рабочие задания, анализ кейсов и продуктов |
| Рабочий результат | Изменился ли целевой процесс или показатель? | Качество, сроки, ошибки, конверсия, производительность |
| Экономический эффект | Как соотносятся подтверждённый эффект и затраты? | Стоимость программы, экономия, дополнительный доход, ROI |
Не каждую программу нужно измерять на всех уровнях. Глубина оценки зависит от стоимости, масштаба, риска и значимости решения, которое будет принято по результатам.
Модель Киркпатрика: четыре уровня оценки
Модель Киркпатрика используется как рамка для последовательного рассмотрения результатов обучения. Она включает четыре уровня: реакцию, обучение, поведение и результат.
Уровень 1. Реакция
Показывает, как участники восприняли программу:
- считают ли содержание релевантным;
- понятны ли материалы и задания;
- соответствует ли сложность подготовке;
- удобны ли формат и организация;
- видят ли участники возможность применения.
Опрос удовлетворённости помогает улучшить программу, но высокая оценка не доказывает усвоение или применение. Участникам может понравиться харизматичный преподаватель, даже если программа не формирует требуемый навык.
Уровень 2. Обучение
Определяет, насколько участники достигли учебных целей: приобрели знания, освоили способ действия или научились решать целевую задачу.
Используются:
- тесты знаний;
- практические задания;
- разборы кейсов;
- симуляции;
- демонстрация навыка;
- оценка рабочего продукта по критериям.
Метод проверки должен соответствовать цели. Тест с вариантами ответа подходит для проверки знания правила, но слабо подтверждает способность провести сложный разговор или выполнить рабочую операцию.
Уровень 3. Поведение
Показывает, применяет ли сотрудник освоенный навык в реальной работе. Оценка проводится не сразу после занятия, а после появления возможности использовать новое поведение.
Источниками могут быть:
- наблюдение руководителя или эксперта;
- анализ выполненных задач;
- прослушивание звонков;
- оценка документов и проектов;
- интервью с участником;
- обратная связь коллег или клиентов;
- повторная оценка по конкретным критериям.
Уровень 4. Результат
Оценивает изменение показателей процесса, команды или организации, с которыми была связана программа.
Например:
- снижение количества ошибок;
- сокращение времени выполнения операции;
- повышение качества обслуживания;
- изменение конверсии;
- снижение числа инцидентов;
- рост производительности;
- сокращение ранней текучести;
- ускорение выхода новичков на продуктивность.
Как оценить эффективность обучения: пошаговый алгоритм
Шаг 1. Вернитесь к потребности
Зафиксируйте проблему, ради которой создавалась программа. Если потребность была сформулирована как «провести тренинг», оценить содержательный результат будет невозможно.
Методика диагностики приведена в статье «Как определить потребность в обучении сотрудников».
Шаг 2. Опишите ожидаемую цепочку изменений
Свяжите элементы программы:
- участник получает доступ к обучению;
- осваивает конкретное знание или действие;
- применяет его в рабочей ситуации;
- качество процесса изменяется;
- изменяется целевой результат.
На каждом переходе могут возникнуть ограничения. Например, сотрудник освоил навык, но не применяет его, потому что руководитель требует действовать по старой схеме.
Шаг 3. Установите критерии
Для каждого уровня определите наблюдаемый критерий.
| Ожидаемое изменение | Критерий | Источник данных |
|---|---|---|
| Участник понимает порядок действий | Правильно решает сценарные задания | Итоговое тестирование |
| Участник умеет выполнять действие | Демонстрирует все критичные шаги | Симуляция или практический кейс |
| Навык применяется в работе | Использует целевой алгоритм в реальных ситуациях | Наблюдение или анализ рабочих материалов |
| Меняется результат процесса | Сокращается доля определённого типа ошибок | Операционная отчётность |
Шаг 4. Зафиксируйте исходную точку
До начала программы измерьте текущее состояние по тем же критериям, которые будут использоваться после неё.
Исходной точкой могут быть:
- результат входного задания;
- текущая частота целевого поведения;
- качество рабочих продуктов;
- показатель процесса;
- среднее значение за несколько сопоставимых периодов.
Сравнивать данные до и после можно только при сохранении одинакового определения показателя, периметра и правил сбора.
Шаг 5. Определите сроки
Разные результаты проявляются в разное время:
- реакция — во время или сразу после программы;
- усвоение — после модуля или программы;
- первое применение — после появления рабочей ситуации;
- устойчивое поведение — после нескольких циклов практики;
- бизнес-результат — с учётом длительности процесса.
Слишком ранняя оценка не даст навыку проявиться. Слишком поздняя затруднит отделение влияния программы от других изменений.
Шаг 6. Назначьте владельцев данных
L&D не всегда располагает рабочими показателями. До запуска согласуйте участие:
- руководителя целевой группы;
- владельца бизнес-процесса;
- HR-аналитика;
- администратора LMS;
- службы качества;
- финансового подразделения — если оценивается денежный эффект.
Шаг 7. Соберите данные на нескольких уровнях
Не ограничивайтесь одной цифрой. Если Completion Rate высокий, а применение навыка низкое, проблема может находиться в содержании, практике, поддержке руководителей или рабочей среде.
Шаг 8. Учтите другие факторы
Проверьте, что ещё изменилось в период оценки:
- состав команды;
- продукт или технология;
- цены и рыночная ситуация;
- система мотивации;
- руководитель;
- нагрузка;
- регламент;
- автоматизация;
- качество входящих задач.
Шаг 9. Примите решение
Результат оценки должен приводить к действию:
- масштабировать программу;
- изменить содержание или практику;
- скорректировать состав аудитории;
- усилить поддержку руководителей;
- изменить рабочий процесс;
- заменить формат;
- прекратить инициативу;
- провести дополнительную диагностику.
Основные метрики обучения
Completion Rate
Показывает долю участников, завершивших программу в принятом периметре.
Перед расчётом необходимо определить, кто входит в знаменатель: все назначенные, начавшие обучение или участники, для которых наступил срок завершения.
Формула и калькулятор Completion Rate →
Pass Rate
Доля участников, выполнивших установленный критерий успешного прохождения. Метрика зависит от качества задания и обоснованности порогового значения.
Результат проверки знаний или навыка
Средний балл имеет смысл только внутри конкретной методики. Для практического навыка полезнее анализировать выполнение критичных действий, а не только итоговую сумму баллов.
Training Hours
Среднее количество учтённых часов обучения на сотрудника.
Показатель описывает объём, но не качество и не результат. Универсальной нормы часов для любой компании не существует.
Формула и калькулятор Training Hours →
Skill Application Rate
Показывает долю участников, применивших целевой навык или поведение по установленному критерию.
Необходимо заранее определить:
- что считается применением;
- кто его подтверждает;
- через какой срок проводится проверка;
- у всех ли участников была соответствующая рабочая ситуация.
Описание Skill Application Rate →
Training Effectiveness
Эффективность обучения может рассчитываться как составной показатель, но его формула зависит от принятой в компании модели. Нельзя механически объединять удовлетворённость, тестирование и бизнес-результат без объяснения весов и смысла итоговой оценки.
Метрика эффективности обучения →
Как оценить перенос навыков в работу
Перенос обучения — применение освоенного знания или навыка в реальных рабочих условиях. Именно на этом этапе часто возникает разрыв между успешным прохождением курса и фактическим изменением работы.
Что проверить
- была ли у участника возможность применить навык;
- понимает ли руководитель ожидаемое поведение;
- получает ли сотрудник обратную связь;
- соответствует ли новый способ работы процессу и инструментам;
- не поощряет ли система старое поведение;
- достаточно ли практики для устойчивого выполнения;
- доступны ли инструкции и поддержка.
Методы оценки переноса
| Метод | Когда применять | Ограничение |
|---|---|---|
| Самоотчёт участника | Для быстрого поиска ситуаций и препятствий | Возможна переоценка или недооценка применения |
| Оценка руководителя | Когда руководитель регулярно наблюдает работу | Нужны единые критерии и примеры поведения |
| Наблюдение эксперта | Для критичных или сложных навыков | Требует времени и подготовленного оценщика |
| Анализ рабочего продукта | Если результат сохраняется в документе, системе или записи | Продукт не всегда показывает весь процесс |
| Операционные данные | При наличии цифрового следа целевого действия | Нужно проверить качество и смысл данных |
Как связать обучение с бизнес-результатом
Связь начинается не после программы, а при постановке задачи. Необходимо заранее определить, на какой процесс должно повлиять изменение поведения.
Пример цепочки:
- менеджеры учатся точнее выявлять потребности клиента;
- в переговорах используют согласованный набор диагностических действий;
- качество квалификации возможностей повышается;
- сокращается число нерелевантных предложений;
- изменяется конверсия на последующих этапах.
Чем длиннее цепочка от обучения до итогового показателя, тем больше других факторов влияет на результат. Поэтому полезно измерять не только конечную конверсию, но и промежуточное целевое поведение.
Способы усилить обоснованность вывода
- сравнить значения до и после программы;
- использовать несколько периодов, а не одну точку;
- разделить данные по сопоставимым группам;
- провести пилот до масштабирования;
- сопоставить прошедших и ещё не прошедших обучение;
- учесть сезонность и изменение состава задач;
- проверить промежуточное рабочее поведение;
- зафиксировать другие значимые изменения.
Контрольная группа может усилить анализ, но в реальной компании она не всегда возможна или этична. В таком случае ограничения необходимо прямо описать, не выдавая совпадение по времени за доказанную причинность.
Как рассчитать ROI обучения
ROI показывает отношение чистого подтверждённого финансового эффекта к затратам на программу.
Если подтверждённый эффект составил 1 500 000 рублей, а полная стоимость программы — 500 000 рублей:
При расчёте необходимо обосновать:
- какой эффект выражается в деньгах;
- за какой период он учитывается;
- какая доля изменения связана с программой;
- какие другие факторы повлияли на результат;
- какие расходы включены в стоимость;
- не учитывается ли один эффект несколько раз.
Что включать в затраты
- услуги провайдера;
- разработку материалов;
- лицензии и платформу;
- рабочее время участников;
- время экспертов и руководителей;
- администрирование;
- оборудование и помещения;
- сопровождение и оценку.
Формула и калькулятор Learning ROI →
Пример оценки программы обучения
Задача: снизить количество повторных обращений клиентов из-за неполной диагностики проблемы специалистами поддержки.
До программы
- определены критичные диагностические действия;
- проведён анализ выборки обращений;
- зафиксирована доля случаев с полным выполнением алгоритма;
- зафиксирована доля повторных обращений по выбранным причинам;
- проверена сопоставимость команд и типов обращений.
Программа
- короткий модуль с логикой диагностики;
- практикум на реальных обращениях;
- симуляция разговора;
- рабочее задание;
- разбор с руководителем через две недели.
Оценка
| Уровень | Критерий | Срок |
|---|---|---|
| Реакция | Релевантность кейсов и готовность применять алгоритм | После практикума |
| Усвоение | Выполнение критичных действий в симуляции | В конце программы |
| Применение | Полнота диагностики в реальных обращениях | Через две и шесть недель |
| Результат | Динамика повторных обращений по выбранным причинам | Через один и три месяца |
Интерпретация
Если участники успешно выполняют симуляцию, но не используют алгоритм в работе, следует анализировать поддержку руководителя, нагрузку, интерфейс системы и доступность подсказок.
Если поведение изменилось, но повторные обращения не сократились, возможно:
- выбранное поведение слабо связано с итоговым показателем;
- существуют другие значимые причины повторных обращений;
- прошло недостаточно времени;
- изменился состав обращений;
- данные собираются некорректно.
Что включить в дашборд обучения
Дашборд должен помогать принимать решения, а не демонстрировать максимальное количество показателей.
Уровень портфеля
- количество активных программ;
- целевые группы;
- статус и сроки;
- бюджет и фактические затраты;
- распределение по стратегическим приоритетам.
Уровень программы
- назначено, начато и завершено;
- Completion Rate;
- результаты практических заданий;
- применение навыка;
- целевой рабочий показатель;
- стоимость участника;
- решение по итогам оценки.
Обязательные пояснения
Для каждого показателя должны быть доступны:
- определение;
- формула;
- расчётный периметр;
- источник данных;
- период;
- ограничения;
- ответственный.
Сводный каталог показателей находится в разделе метрик обучения и развития.
Типичные ошибки при оценке обучения
Измерять только удовлетворённость
Опрос реакции полезен для улучшения программы, но не показывает, освоил ли участник навык и применяет ли его в работе.
Считать прохождение доказательством эффективности
Завершение курса означает выполнение установленного условия. Оно не подтверждает изменение поведения.
Не фиксировать исходную точку
Без данных до программы трудно определить масштаб изменения и понять, существовал ли заявленный разрыв.
Использовать тест, не соответствующий цели
Проверка запоминания терминов не подтверждает способность выполнять сложное рабочее действие.
Измерять слишком рано
Участник может ещё не получить возможности применить навык. Для каждой программы нужен реалистичный срок переноса.
Приписывать программе весь результат
На рабочие показатели влияют процессы, рынок, технологии, руководители, мотивация и состав задач. Эти факторы необходимо учитывать.
Искусственно рассчитывать ROI
Перевод любого изменения в деньги создаёт видимость точности. Финансовый расчёт оправдан только при обоснованной связи и достоверных данных.
Не использовать результаты оценки
Если после отчёта не принимается решение о программе, аудитории, процессе или поддержке, измерение превращается в формальную отчётность.
Краткий алгоритм оценки
- Определите задачу и подтверждённую потребность.
- Опишите требуемое рабочее поведение.
- Зафиксируйте исходную точку.
- Выберите критерии реакции, усвоения, применения и результата.
- Назначьте источники данных и владельцев.
- Установите сроки проверки.
- Проведите программу и соберите данные.
- Проверьте другие факторы влияния.
- Сформулируйте ограничения вывода.
- Примите решение: масштабировать, изменить или прекратить.
Часто задаваемые вопросы
Какие показатели лучше всего отражают эффективность обучения?
Универсального показателя нет. Выбирайте сочетание данных об усвоении, применении целевого поведения и изменении связанного рабочего результата. Посещаемость и Completion Rate описывают участие, но не заменяют оценку эффекта.
Когда оценивать применение навыков после обучения?
После того как у участника появилась реальная возможность применить навык. Срок зависит от частоты рабочей ситуации: для ежедневной операции это могут быть недели, для редкого управленческого действия — несколько месяцев.
Обязательно ли использовать все четыре уровня Киркпатрика?
Нет. Глубина оценки зависит от цели, стоимости, масштаба и риска программы. Для значимой инициативы полезно заранее определить, какие уровни нужны для принятия решения.
Можно ли оценить эффективность только по данным LMS?
LMS обычно предоставляет данные о назначениях, активности, завершении и результатах тестов. Для оценки применения и рабочего результата требуются данные руководителей, HRM, CRM, BI или других рабочих систем.
Чем Completion Rate отличается от эффективности обучения?
Completion Rate показывает долю завершивших программу. Эффективность описывает достижение учебных и рабочих результатов с учётом использованных ресурсов.
Нужно ли рассчитывать ROI для каждой программы?
Нет. ROI оправдан, когда финансовый эффект можно обоснованно выделить и сопоставить с полной стоимостью. Для многих программ корректнее использовать показатели знаний, поведения, рабочего результата или снижения риска.
Как оценивать развитие soft skills?
Опишите навык через наблюдаемое поведение в конкретных рабочих ситуациях. Затем используйте практические задания, наблюдение, рабочие продукты и обратную связь по единым критериям.
Что делать, если обучение пройдено, но поведение не изменилось?
Проверьте качество практики, возможность применения, поддержку руководителя, обратную связь, процессы, инструменты, мотивацию и другие ограничения рабочей среды. Причина может находиться не в содержании программы.