KPI для оценки обучения на 4х уровнях + пример сбалансированной системы показателей

Как создать систему показателей для оценки обучения? Задача — отличить время потраченное на тренинги в стиле инфо-развлечений и действительно полезные инвестиции в обучение.

Тренинги и семинары стали стандартной частью обучения в любой организации. На мой взгляд, наиболее важной задачей, стоящей перед компаниями, является понимание разницы между менее полезной развлекательной информацией и продуктивным обучением, способным привести к скачку роста производительности. В этой статье мы рассмотрим способы оценки эффективности обучения и создадим систему показателей обучения.

Содержание статьи:

• Модель оценки эффективности обучения Киркпатрика
• Стоимость измерения
• Шаблон системы показателей обучения: подготовка
• Уровень 1: реакция, уровень 2: обучение, уровень 3: поведение, уровень 4 — результат
• KPI онлайн-обучения

Проблема измерения эффективности

Представьте себе семинар, который проводит харизматичный тренер, отлично разбирающийся в теме и легко находящий подход к студентам.

Звучит превосходно, однако мы должны задать ещё несколько вопросов:

• Получила ли команда необходимые знания и навыки?
• Были ли эти знания действительно применены?
• Как мы узнаем о том, что в конечном итоге тренинг привел к повышению производительности?

Также вам стоит узнать о том,

• Какие части тренинга оказались полезными, а какие – нуждаются в улучшении;
• Стоит ли повторять тренинг на эту тему;
• Стоит ли нанимать этого тренера вновь или лучше найти другого преподавателя.

На эти вопросы приходится отвечать руководству и специалистам по HR.

Тренеры, в свою очередь, нуждаются в системе обратной связи на основе данных, которые помогут им улучшить учебные продукты.

Тренеры должны понять, каким образом необходимо изменить программу для улучшения результатов и максимального влияния на производительность организации.

Модель оценки эффективности обучения Киркпатрика

Лишь одно измерение не сможет дать нам объективных результатов. Для получения наиболее полной оценки тренинга мы должны использовать несколько разделённых во времени контрольных точек.

Модель оценки Киркпатрика предлагает сфокусироваться на 4-х перспективах:

• Уровень 1. Реакция (обратная связь сразу после тренинга)
• Уровень 2. Обучение (выводы, сделанные после прохождения тренинга)

Через некоторое время мы также можем отследить:

• Уровень 3. Поведение (знания и навыки, применённые на практике)
• Уровень 4. Результат (влияние на конечную эффективность бизнеса)

Оценка тренера

Если тренинг проводится сторонним экспертом, мы также должны принимать во внимание процесс отбора. Требования к тренеру и программе обучения должны включать:

• Квалификацию тренера и
• Степень согласованности предлагаемого тренинга со стратегией компании.

Стоимость измерения

Если мы поместим четыре этапа оценки на график, при этом «стоимость измерения» будет находиться на одной его оси, а «польза измерения» — на другой, мы увидим, что:

• Проще всего измерению поддаются реакция (уровень 1) сразу после тренинга и выводы, сделанные после его прохождения (уровень 2).
• Для измерения предварительных требований к тренеру необходима определенная количественная оценка процесса отбора, однако и это выполнимо.
• Хотя самыми интересными с точки зрения возможных выводов являются уровень 3 и уровень 4, стоимость измерения на этих уровнях является более высокой.

Шаблон учебной ССП

Рассмотрим шаблон, который можно использовать для оценки эффективности тренинга в организации. Для демонстрации возможностей автоматизации этого процесса я буду использовать программу BSC Designer.

Подготовка

Я советую начать с создания хорошей стратегической карты, которая свяжет цели финансовой, клиентской перспективы, а также перспективы внутренних процессов с инициативами обучения. Это придаст всем последующим действиям по управлению необходимый вектор.

Следующим шагом является оценка тренера и программы обучения. Для этого необходимо численное представление:

• Квалификации тренера,
• Комуникативных навыков тренера,
• Приблизительных затрат на обучение (расходы на билеты, проживание, оплата работы тренера),
• Согласованности между программой обучения и стратегическими целями компании.

Подсчет этих параметров должен проводить не только начальник отдела кадров. Другие ключевые члены команды также должны поделиться своим мнением.

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей обучения.

Когда нужно измерять? За несколько недель до тренинга.

Программа поможет:

• Назначить вес каждого критерия;
• Сохранить индивидуальные оценки и вес параметров;
• Подсчитать количество баллов для каждого кандидата.

Уровень 1. Реакция

На этом уровне необходимо измерить обратную связь после тренинга, которая поможет понять, насколько интересным было обучение. Следующие вопросы помогут собрать некоторые данные:

• Какие эмоции вы испытываете по поводу тренинга? (отрицательные, нейтральные, положительные)
• Порекомендуете ли вы этот тренинг коллегам?
• Хотите ли вы повторить этот тренинг в будущем?

Список можно продолжить, так как признаки вовлечения этим не ограничиваются:

• Количество вопросов, задаваемых после и во время тренинга
• Субъективная оценка вовлечения аудитории (принимали ли люди участие в тренинге или они смотрели на экраны своих телефонов?)

Программа поможет:

• Собрать оценку по каждому показателю, предоставленному участниками
• Дать варианты ответа на естественном языке
• Подсчитать средний балл

Дата измерения: в день обучения.

Уровень 2. Обучение

Самым простым способом подсчета результата обучения является финальное тестирование, которое покажет, насколько хорошо был понят материал.

Возможные показатели:

• Показатель сдачи экзамена, %
• Средний балл за экзамен, %
• Результаты теста до/после обучения

Можно использовать различные способы для оценки результатов обучения. Например,

Вместо проведения простого теста можно попросить студентов сделать что-то из того, что было изучено на тренинге, и, таким образом, оценить реальное поведение.

В соответствии с этим необходимо внедрить индикаторы, связанные с практикой.

Таким образом, мы не только тестируем студентов, но и помогаем им создать новые модели поведения.

Дата измерения: в конце обучения.

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей обучения.

Требуемый минимум

Мы выполнили требуемый минимум. Затраты на измерение следующих уровней будут более высокими. Стоит ли их проводить?

Закончив измерение на этом уровне, мы столкнёмся с риском получения «ложноположительной» оценки ситуации, в которой харизматичный тренер произносит увлекательную речь, хорошо принимаемую аудиторией (таким образом, тренинг превращается в развлечение). Однако подобные речи редко приводят к действительному повышению производительности.

Уровень 3. Поведение

Тест – отличная исходная точка проверки знаний, полученных студентами, однако в действительности нас интересуют произошедшие изменения в моделях поведения. Количественная оценка в этом случае зависит от характера процесса.

В некоторых случаях используются такие конкретные показатели поведения, как

• Достигнуто сокращение времени, %. Если цель студента заключается в оптимизации или простом ускорении определённого процесса, вы можете отслеживать этот KPI.
• Достигнуто сокращение затрат, %. Если цель обучения заключается в том, чтобы делать что-либо максимально эффективным способом, вы можете отслеживать сокращение затрат, которое является результатом тренинга.
• Повышение качества (ранее мы говорили о способах подсчета качества) или более конкретное Снижение количества повторяющихся проблем, %. Этот KPI применим в случае четко обозначенной проблемы, которая связана с конечным результатом.

Между прочим, повторяющаяся проблема является одним из отрицательных факторов, влияющих на потребительскую лояльность. Снизив это число, вы повысите удовлетворенность клиентов.

• Повышение производительности, %. KPI должен быть связан с определенным индексом производительности. Для продавцов это может быть количество продаж, для копирайтеров — конверсия читателей в лидов. Вы можете найти показатели производительности даже для таких творческих специалистов, как графические дизайнеры.

В большинстве случаев нам придётся потратить некоторое время на поиск хороших показателей для представления новых моделей поведения в численной форме. Наша система KPI поможет вам придать форму процессу мозгового штурма.

Рекомендуется заранее спросить тренера об ожидаемых изменениях и лучшем способе измерения их достижения в организации.

• Например, одним из ожидаемых изменений после курса по KPI является то, что сотрудники начнут обсуждать показатели вместо того, чтобы просто использовать список индикаторов, предложенных руководством. Через некоторое время мы можем опросить лидеров команд, чтобы узнать, были ли внедрены новые модели поведения.

Когда проводить измерение? Через 1-2 месяца после тренинга.

Роль программного обеспечения:

• Визуализация ожидаемых улучшений (на картах процесса);
• Отслеживание индикаторов поведения в системе показателей;
• Функция анализа поможет отслеживать рост производительности

Уровень 4. Результат

На предыдущем уровне мы могли видеть изменения в поведении сотрудников.

• К примеру, после семинара, посвященного новой agile технике, мы могли видеть, что сотрудники действительно начали использовать этот метод (уровень 3, поведение).

Подобные преобразования в поведении важны и демонстрируют способность тренера вдохновить обучающихся на перемены, однако это не означает, что изменение принесло организации какую-либо пользу.

Суть любого тренинга или семинара заключается в помощи организации в более действенной и эффективной реализации стратегии.

Мы можем начать искать показатели подобных улучшений через несколько месяцев после окончания программы обучения, однако более интересным решением является предварительный анализ возможного результата и способов его отслеживания. (в системе KPI подобный подход называется «встраивание измерения» — measurable by design).

Когда измерять? Через 4-6 месяцев после тренинга.

Роль программного обеспечения:

• Представление стратегической карты компании,
• Визуализация стратегических целей бизнеса и
• Согласование индикаторов с целями бизнеса.

Воспользуйтесь бесплатным планом для доступа к 30 шаблонам ССП, включая Система показателей обучения.

Популярные KPI обучения не работают

В предыдущей статье мы говорили о некоторых популярных KPI для HR, например, Текучести кадров и Времени найма.

Даже если определенные KPI очень популярны, они не обязательно должны присутствовать на вашей информационной панели.

Как насчет KPI обучения? Целью любой программы обучения является развитие новых навыков и повышение эффективности сотрудника. Рассмотрим некоторые популярные KPI и их способность (или неспособность) помочь компании.

KPI обучения	Почему он вам НЕ нужен
Средняя стоимость обучения одного штатного сотрудника, $	KPI демонстрирует размер инвестиций в каждого сотрудника, однако он не даёт нам никакой информации о том, были ли достигнуты результаты. Был ли тренинг успешен? Освоил ли сотрудник какой-либо навык, который позволил ему повысить эффективность?
Среднее количество часов на одного штатного сотрудника, часов	Проблема та же, что и в предыдущем случае. Возможно, сотрудник проходит очный курс MBA, но поможет ли обучение повысить его эффективность и насколько?
% бюджета HR, потраченного на обучение	Этот KPI может дать нам некоторую информацию о балансе отдела кадров. Если 90% бюджета тратится на поиск новых кандидатов, возможно, программа обучения компании должна быть пересмотрена. Не существует установленного процента бюджета, который должен быть потрачен на обучение. Отличный тренинг, способный значительно повысить производительность, может обойтись всего в 1% бюджета.
% обученных сотрудников	Этот KPI сообщит вам число обученных сотрудников. Вы можете использовать его для тренинга, в эффективности которого вы уверены. Однако необходимо учитывать и то, что программа, которая оказалась полезной для одного отдела, может не быть таковой для другого.
Индекс удовлетворённости сотрудников обучением	Проблемой этого KPI является его крайняя субъективность. Уверен, вам знакомо чувство вдохновения и воодушевления, охватившее вас после прослушивания отличной речи на конференции. Сегодня подобные идеи кажутся лишь увлекательными историями, которые не могут быть реализованы на практике (узнайте о том, как изменить ситуацию).
ROI обучения, %	Для расчета ROI необходимо знать размер инвестиций (уверен, вы можете это сделать) и финансовую оценку выгод, полученных бизнесом в результате обучения. Это возвращает нас к первоначальному вопросу: как подсчитать эффективность обучения? Этот KPI может сработать, если вам доступны объективные критерии успешности обучения.

Как можно заметить, наиболее популярные KPI отлично подходят для информационной панели корпоративного управления, однако они едва ли смогут помочь измерить эффективность программы обучения.

KPI для eLearning

Многие компании отдают предпочтение удаленным командам как части программы антикризисного управления. Переходя на подобный формат работы, вы также должны перевести в онлайн-формат обучение новых сотрудников этих команд.

Что происходит с KPI обучения в этом случае?

Суть KPI не меняется. При этом меняется способ передачи сотрудникам необходимых знаний и опыта.

Рассмотрим различные перспективы измерения электронного обучения.

Компания BSC Designer использует формат онлайн-тренингов для обучения реализации стратегии, а также для тренинга новых сотрудников удалённой команды. Я поделюсь не только идеями онлайн-обучения, но и лучшими практиками, которые доказали свою эффективность в нашей компании.

Финансовый результат

Вместо прохождения очного тренинга в определённом месте, участники используют онлайн-платформу. С точки зрения финансового результата, это означает

• Сокращение затрат, $ (по сравнению с очной программой обучения)
• Затраты на онлайн-платформу.

Сами по себе эти числа не дают никакой новой информации, однако они помогают получить приблизительную оценку рентабельности инвестиций в обучение.

Показатели вовлечения для онлайн обучения

Онлайн-тренинг должен использовать другие механизмы для вовлечения участников.

Бюджет внимания в этом случае не гарантирован, как в случае с очными мероприятиями. Участники не находятся в одной комнате на протяжении фиксированного периода времени.

Так как материалы онлайн-тренингов могут быть записаны заранее, классический коэффициент участия теряет свою актуальность. Учитывая эту идею, мы должны соответствующим образом изменить показатели вовлеченности. Например, мы можем отслеживать:

• Время просмотра материалов онлайн-курса
• Статистику доступа к учебным материалам

Некоторые онлайн-курсы предлагаются на публичных лэндингах. Это позволяет нам использовать показатели социальных сетей для понимания эмоциональной связи с обучающим продуктом. В этом случае базовым показателем может быть:

• Количество репостов в социальных сетях (лэндинга обучающего продукта)

Проверка влияния онлайн обучения на бизнес

Как проверить влияние онлайн-обучения? Я рекомендую сделать процесс измеряемым по умолчанию.

Постарайтесь превратить важные для бизнеса результаты в неизбежные шаги обучения.

Как это сделать? Это зависит от природы вашей онлайн-программы обучения. Например, в курсе нашего онлайн-тренинга участники не сдают формальных тестов или экзаменов. Основой наших онлайн-сессий является создание прототипа ССП.

В нашем случае KPI, подтверждающим влияние на бизнес, является:

• Качество участников создавших прототип ССП, %

Созданный прототип – это доказательство того, что участник действительно приобрел ожидаемые знания и навыки. Мы уверены в этом, поскольку видим результат, которого добился студент. Более того, мы можем оценить качество прототипа и предложить способы его улучшения.

Не все участники доберутся до финиша. Стоящая за этим фактом причина требует некоторого внимания с нашей стороны. В этом контексте отслеживаемым KPI может быть:

• Показатель отказов, %

Множественное число слова «отказ» обусловлено нашим желанием понять, какие части тренинга оказались наиболее сложной.

KPI для внутренних изменений

Онлайн-формат влияет на механику обучающих сессий. Очное обучение проводится в реальном времени и требует определённого набора инструментов и материалов. Электронное обучение требует других инструментов.

Нам требуется не только страница со всеми учебными материалами, но и удобные инструменты для отслеживания прогресса участников, разблокирования следующих этапов тренинга, проведения финальных экзаменов и, наконец, генерирования сертификатов.

KPI зависит от характера процесса обучения в организации. Мы можем сформулировать его следующим образом:

• Адаптация механики обучения к онлайн-формату, %

Поиск точек улучшения электронного формата обучения

Одним из преимуществ онлайн-формата является наличие большего количества аналитических данных, связанных с участниками тренинга:

• Мы можем определить, на какие материалы тратится наибольшее количество времени;
• Выделить наиболее часто используемые поисковые фразы для учебной базы данных;
• Просмотреть посекундную аналитику для учебных видео;
• Проанализировать вопросы, которые задают ведущему тренинга.

На основе этих данных мы можем отслеживать показатель действия онлайн-обучения:

• Анализ аналитики обучения, %

Что если у нас не получается найти хорошие показатели?

Выводы

Подытожим рассмотренные идеи.

• Измеряйте эффективность обучения на 4-х уровнях: первое впечатление, балл за экзамен, изменения поведения, повышение производительности.
• Затраты на измерение, как и получаемая от него польза, растут по мере перехода на следующий уровень.
• Понять, в чем состоит ожидаемое улучшение, необходимо до начала обучения.

Наконец, основной целью любого измерения является не само измерение, но поведение, которое оно за собой влечет.

Создав систему показателей обучения, вы сможете привлечь все заинтересованные стороны к обсуждению программы тренинга, его целей, краткосрочных и долгосрочных результатов. Подобная дискуссия поможет сосредоточить усилия на том, что действительно имеет значение.

В комментариях к этой статье вы можете делиться своими мыслями и идеями об измерении эффективности и результативности программ обучения и семинаров.

Другие примеры Сбалансированны Систем Показателей