12-этапная система подбора сложных показателей и KPI

Поиск и внедрение подходящих индикаторов эффективности может быть непростой задачей. Существуют отличные примеры простых показателей, однако в случае необходимости отслеживать нечто менее конкретное, кажется невозможным найти хороший индикатор. На самом деле это не так.

Эта система предлагает пошаговый подход к поиску и внедрению самых сложных показателей. В следующий раз, когда вам понадобится отследить чью-либо производительность, оценить качество или проанализировать созданную ценность, используйте эту проверенную систему для поиска верного показателя.

Этапы KPI-системы

Эта система состоит из 12 этапов. Внимательно изучите 1-3 этапы. Они представляют собой основу работы со сложными показателями!

1. Декомпозиция. Что является объектом измерения?

Рассмотрим для примера такой сложно измеримый объект, как качество. На первый взгляд оно кажется неосязаемым и неизмеримым. При этом мы можем попробовать выполнить небольшое упражнение, чтобы понять, чем, к примеру, является качество программного продукта.

Качественное ПО отвечает следующим критериям:

Смысл упражнения состоит в раздроблении неосязаемого понятия «качества» на мелкие, конкретные (=измеримые) части. Некоторые из этих частей поддаются дальнейшему дроблению. У нас уже есть кое-что конкретное. Например, мы можем количественно представить и измерить:

• Количество минут, необходимых для установки продукта («простота установки») и
• Тестовое покрытие, % (часть «проходит все тесты»).

Подобная декомпозиция может быть проведена для других неконкретных понятий: ценности, производительности, вовлечения и т.д. Больше примеров и различных статистических инструментов вы найдёте в книгах Дугласа Хаббарда серии «How to Measure Anything…«.

Если вы хотите продолжить изучение темы качества, советую ознакомиться с идеями KPI для качества.

2. Кем являются заинтересованные стороны?

Другим важным результатом предыдущего упражнения является понимание того, что качество имеет различное определение для разных заинтересованных сторон. Формальное определение термина «заинтересованная сторона» вы найдёте в глоссарии Тома Гилба:

Заинтересованные стороны – это любой человек, группа или система, заинтересованные в нашем проекте. Или мы хотим, чтобы они были в нём заинтересованы.

Я уже упомянул несколько заинтересованных сторон, однако список этим не ограничивается. Например, говоря о качестве ПО для системы безопасности, мы должны учитывать определённые легальные аспекты, которые должны соблюдать разработчики. Будьте уверены: в список ваших заинтересованных сторон входят не только конечные пользователи и акционеры!

3. Контекст: зачем нужно измерение?

Ответ «чтобы получить значения показателей/проанализировать/подтвердить/оценить» не принимается! Хороший ответ звучит примерно так:

• Для достижения согласия относительно {здесь указана конкретная задача};
• Чтобы принять наилучшее решение для {здесь указана конкретная задача};
• Чтобы отследить прогресс реализации плана в контексте {здесь указана конкретная задача}.

Ответив на этот вопрос, вы можете ещё более сузить набор действий, направленных на измерение. Например:

Мы хотим измерить качество программы, чтобы понять, как улучшить пользовательский опыт в течение 30-дневного пробного периода.

Этот ответ меняет фокус процесса измерения. Нам придётся обратить внимание на то,

• Насколько интересны маркетинговые материалы;
• Насколько просто установить программу;
• Насколько быстро служба поддержки отвечает на предпродажные запросы;
• С какими критическими проблемами сталкивается пользователь во время пробного периода.

4. Ментальные ловушки. Слепые пятна и неудобные показатели.

При поиске новых показателей учитывайте человеческую природу и постарайтесь избежать типичных «ментальных ловушек».

4.1. Показатели без контекста

Если индикатор не связан с конкретной целью, в этом контексте он бесполезен. Удалите его из системы показателей!

4.2. Важные цели без показателей

Почему не у всех ваших целей есть показатели? Не потому ли, что вам не удалось их найти? Однако настоящая причина отсутствия индикаторов заключается в том, что цель не была хорошо определена. Для определения цели разбейте её на части подобно тому, как мы это сделали на этапах 1-3 с «неизмеримым» качеством ПО.

4.3. Сосредоточенность на простых, показателях не предлагающих ценные данные

Прочитав предыдущих параграф, многие могут решить добавить любой показатель лишь для того, чтобы поставить галочку — «у нас у всех целей есть показатели». Если такое решение приняли и вы, вы рискуете! Отслеживая простые, но не очень ценные индикаторы, вы решаете проблему лишь на короткое время. При этом вы можете упустить действительно ценные показатели.

4.4. Избегание «плохих новостей»

Люди стремятся избегать некоторых неудобных метрик, способных окрасить их красивые системы показателей и информационные панели в красный цвет. Например, вы знаете о том, что локализация программы на китайский язык устарела, поэтому, если вы поместите на панель индикатор «Покрытие локализации, %», он будет в красной зоне, пока команда наконец не решит эту проблему. Вместо этого вы просто решаете… не помещать на панель этот показатель.

Что было бы лучшим решением в этом случае?

• Во-первых, необходимо решить, являются ли китайские пользователи заинтересованной стороной (= покупают ли они продукт, являются ли они потенциальными покупателями?).
• Если вы дали положительный ответ, учитывайте это при расставлении приоритетов бизнеса (этап 8. Сортировка показателей).

4.5 Решение для сложных случаев

Существуют ли исключения, с трудом поддающиеся измерению? Безусловно! Иногда стоимость измерения гораздо выше ценности, которую даёт индикатор. В этом случае переходите к 6 этапу. Неизвестное.

5. Взгляд с высоты птичьего полёта. Ограничения, показатели результата и действия.

5.1. Показатели действия и результата

Показатели бизнеса могут быть разделены на индикаторы результата и действия.

• Индикатор действия связан с факторами успеха, помогающими достигать цели.
• Индикаторы результата демонстрируют результат, важный для заинтересованных сторон.

Проанализируйте свои показатели:

• Какой индикатор действия является парой для индикатора результата?
• Какой показатель результата является парой для индикатора действия?

На этом этапе необходимо освоить два навыка:

• Находить факторы успеха и отличать их от других вводных данных.
• Рассматривать результаты с точки зрения заинтересованных сторон и отделять ценные результаты от прочих выходных данных и действий.

Больше о показателях действия и результата вы можете прочитать здесь.

5.2. Ограничения и сдерживающие факторы

Вновь проанализируйте задачу бизнеса. Что ограничивает создание ценности для заинтересованных сторон? Пропустите очевидные временные и денежные лимиты. Ответ на этот вопрос может помочь вам найти хорошие показатели, связанные с созданием ценности для клиентов.

6. Неизвестное. Есть ли что-то, не поддающееся измерению?

Иногда, несмотря на прохождения этапов декомпозиции, определения заинтересованных сторон и контекста, вы всё ещё не можете понять, как работает определённый процесс и, соответственно, как его отслеживать. Обратите внимание на модель Кеневин (Cynefin). Вероятно, ваш случай относится к «сложной» области.

Что можно сделать в подобных случаях? У вас есть несколько вариантов.

6.1. Наблюдения

Не недооценивайте простое наблюдение. Большинство астрономических открытий были сделаны посредством простых наблюдений без применения методов прямого измерения или физического взаимодействия с объектом (за возможным исключением исследования преломления света).

Беседуя с клиентами по Skype, мы получаем большое количество интересной информации посредством простого наблюдения за их реакцией. Безусловно, для этого команда должна быть способна читать между строк.

Речь не всегда идёт о наблюдении за чем-то. Иногда необходимо наблюдать за отсутствием какого-либо феномена:

• В одном из рассказов о Шерлоке Холмсе собака не залаяла во время совершения преступления. Это навело сыщика на мысль о том, что животное знало преступника (здесь вы найдёте дополнительные детали истории).
• Астрономы не могут наблюдать чёрные дыры напрямую, однако они исследуют их опосредованно, изучая их влияние на ближайшую материю.

6.2. Контролируемые эксперименты

Следующий шаг – контролируемые эксперименты. Делайте то же, что и ученые: задайте условия и наблюдайте, как реагируют заинтересованные стороны. Проведите анализ, сделайте выводы и повторяйте эксперимент, пока не получите полную картину того, что необходимо делать, чтобы удовлетворить интересы заинтересованных сторон.

Рассмотрим, к примеру, процесс творчества. Одним из способов его измерения является измерение его воздействия. Мы проводим контролируемые эксперименты, пробуя различные варианты дизайна и отслеживая реакцию на них в социальных сетях и среди подписчиков на рассылку. Подобные эксперименты помогают нам сфокусировать творческий процесс на действительно эффективных вещах.

Принцип неопределённости

Необходимо учитывать, что проводя эксперименты, мы взаимодействуем с объектом исследования, что может сказаться на результатах эксперимента (в квантовой механике подобный принцип называется принципом неопределённости Хайзенберга).

7. Настройка показателя. Шкала, формула, вес.

Предположим, в результате измерения простоты установки программы, мы выяснили, что её загрузка, установка и первый запуск в среднем занимают 2 минуты 15 секунд.

7.1. Шкала измерения

Что означает это число? 2 минуты 15 секунд – это много или мало? Для ответа на эти вопросы мы можем использовать пороговые значения:

• Сколько времени занимает установка ПО конкурентов?
• Сколько времени занимала установка нашего ПО в прошлом?

При этом лучший вопрос фокусируется на заинтересованных сторонах:

Какая загрузка считается пользователями быстрой, а какая – слишком медленной?

Наша цель – получить шкалу, при помощи которой мы можем понять, что означает полученное нами число. К примеру:

• Меньше 1 минуты – отлично,
• 1-5 минут – удовлетворительно,
• Более 5 минут – неприемлемо.

Теперь мы знаем, что значение 2:15 относит нас к «удовлетворительной» зоне. Измерительная шкала может содержать значения от 0 до 5, где каждая единица будет означать минуту.

7.2. Направление оптимизации

Что вы собираетесь делать со значением показателя? Планируете ли вы его максимизацию или минимизацию? Каков наш случай?

• Чем выше значение показателя, тем выше производительность.
• Или чем ниже значение показателя, тем выше производительность?

Очевидно, в нашем случае мы хотим минимизировать значение показателя.

7.3. Как определить значение

Для большей конкретизации мы должны определить, как именно мы будем вычислять время установки программы:

• Спросим ли мы о времени загрузки у случайной выборки пользователей?
• Будем ли мы использовать автоматизированный скрипт?
• Проанализируем ли мы логи программы?

Каким бы методом мы ни воспользовались, для получения искомого числа у нас должен быть четкий поэтапный алгоритм действий (рекомендуется использовать формулу).

7.4. Расчет производительности

Я хотел быть задать вопрос:

• Что лучше: «продолжительность установки, равная 2 минутам 15 секундам» или «2000 посетителей сайта в день ?»

Этот вопрос не имеет смысла. Мы не можем на него ответить, так как единицы измерения отличаются («минуты» и «посетителей в день»).

Для ответа на подобные вопросы мы должны нормализовать значения в соответствии с определённой шкалой и выразить значение производительности в процентах.

Для этого мы должны поместить значение (2:15 минут) на шкалу ¹ минут). В данном случае используется простая линейная формула:

• [(макс. – значение) / (макс. – мин.)]

Таким образом, мы можем рассчитать значение показателя в процентах: он равен 100%*(5-2,15)/(5-0)=57%!

7.5. Вес показателя

Если у вас лишь несколько показателей с примерно одинаковой важностью (строго говоря, речь идёт о том, насколько важны цели, с которыми согласованы показатели), вы можете пропустить этот шаг. В противном случае назначение веса показателям может быть очень полезным.

Вес индикаторов должен сообщать нам о том, насколько его производительность влияет на производительность всей системы.

Например:

• Мы измеряем эффективность службы поддержки клиентов при помощи двух показателей: «Время до ответа» и «Качество ответа«.
• Будет несложно дать короткий ответ на полученное сообщение (способствует улучшению значения показателя «Время до ответа«), однако дать качественное объяснение гораздо важнее (что влияет на показатель “Качество ответа”).

Чтобы отразить эту идею, мы можем присвоить индикатору «Время до ответа» вес, равный 20%, а индикатору «Качество ответа» – вес 80%. Эти значения веса могут быть использованы для расчета производительности.

Для выполнения этой задачи вы можете использовать программу BSC Designer. Измените вес индикаторов и обратите внимание на то, что производительность контейнеров изменится соответственно.

7.6. Не смешивайте цели, показатели и целевые значения

Знаю, цели вроде «Улучшить производительность на 5% в течение года посредством увеличения сегмента рынка» кажутся полностью соответствующими критериям S.M.A.R.T.: они измеримы, выполнимы, ограничены по времени и так далее. Однако не вносите такие цели в систему показателей. Не смешивайте:

• Цель (улучшить производительность),
• Показатель (рост производительности, %),
• Целевое значение (5% в течение одного года) и
• План действий (расширение сегмента рынка).

Объяснения и другие рекомендации вы найдёте в в статье, содержащей ответы и вопросы о KPI.

8. Сортировка показателей. Как вы определяете приоритетность показателей в ССП?

Когда вы смотрите на показатели своей системы, думаете ли вы, что

• Вам нужны все они, и все они имеют первостепенное значение?

Или…

• Существуют несколько показателей, на которых вы хотите сосредоточиться прямо сейчас.
• Некоторые показатели имеют большее значение в долгосрочной перспективе.
• Другие представляют некоторый интерес, однако они не так важны для вашего отдела.

В первую очередь, вы можете ещё раз пересмотреть контекст своего бизнеса (этап 3) и разделить цели на оперативные (подразумевающие внедрение передовых методов) и стратегические (цели изменения). Различие между двумя типами целей было рассмотренно здесь.

Воспользуемся матрицей Эйзенхауэра. У нас есть две оси: «Важное» и «Срочное». В этом случае «Важное» подразумевает «имеющее значение для заинтересованных сторон».

Я предлагаю сортировать показатели следующим образом:

• Важное и срочное: оперативные цели и их показатели.
• Важное, но несрочное: стратегические цели и их показатели.
• Неважное, но срочное: работа, которую можно передать другому отделу.
• Неважное и несрочное: почему ваша система показателей всё ещё содержит эти цели и индикаторы?

Этот простой анализ предлагает вам 4 базовых сценария работы с метрикой:

• Поместите её с стратегическую систему показателей;
• Поместите её на функциональную информационную панель/систему показателей;
• Передайте её коллегам, которые поместят её в свои системы;
• Удалите её.

Эта матрица не идеальна, однако она предлагает отличную исходную точку. В этой статье мы рассмотрели другие методы приоритизация.

9. Реализация. Есть ли у вас план действий?

Измерение эффективности должно сопровождаться управлением эффективности. Какой план действий вы разработали для достижения цели и/или улучшения значения согласованного с ней показателя? «Отслеживать» — вероятно, не лучший план, его выполнение вы можете поручить системе автоматизации.

Просмотрите начальные этапы системы. Вы согласились с тем, что этот показатель имеет определённую ценность. Теперь необходимо сделать так, чтобы эта ценность приняла осязаемую форму (=план действий).

10. Влияние. Какое поведение обуславливают эти показатели?

У международной корпорации была цель: сделать так, чтобы сотрудники оставались здоровыми. Хорошее здоровье сотрудников подразумевает меньшее число больничных и более высокую продуктивность. Компания быстро нашла техническое решение: каждому сотруднику был выдан фитнес-браслет. Улучшается то, что измеряется, не так ли?

Для дальнейшего улучшения результатов компания решила проводить между отделами соревнование. Сотрудники должны были носить фитнес-браслеты и считать число ежедневно сделанных шагов. Побеждала команда с наибольшим количеством шагов.

Отлично, правда? На практике, чтобы обмануть систему и получить более высокую оценку, многие участники просто надевали браслет на лапу своей собаки! Была ли достигнута первоначальная цель? Не совсем.

Основной вывод: время от времени необходимо пересматривать показатели, чтобы понять, к какому поведению они приводят на самом деле.

О неправильном использовании KPI и других подобных случаях мы говорили в этой статье. Нередко проблема не исчерпывается лишь одним неверным показателем. Поэтому полезно анализировать модели поведения (=культуру), которые приводят к нежелательным результатам.

11. Затраты и ценность. Как снизить затраты и увеличить ценность измерения?

Как я упоминал ранее, нахождение ценных показателей требует больших затрат, чем использование метрик, не дающих ценной информации. В этом разделе мы поговорим о максимизации ценности и контроле над затратами.

11.1. Стоимость измерения

Ключевые идеи контроля расходов:

• Если вы хотите контролировать затраты, первым делом рассчитайте их для различных методов измерения.
• Чем более точным является измерение, тем выше его стоимость.
• Вы сможете значительно сократить стоимость измерения, продумав его заранее (этап 11.3. Измерение по умолчанию).

11.2. Ценность измерения

Как насчет ценности измерения? Люди склонны концентрироваться на том, что проще поддаётся измерению. Зачем стараться определять качество службы поддержки (для её измерения требуется прилагать усилия), если можно просто отслеживать «Время до ответа»?!

Рассматривайте стоимость измерения сквозь призму ценности заинтересованных сторон.

• Какой показатель поможет вам добиться удовлетворённости заинтересованных сторон?
• В чём заключается ценность измерения?

11.3. План контроля. Создавайте системы, измеримые по умолчанию

Предположим, вы планируете представить свой продукт на выставке. Как вы будете оценивать успех своего в ней участия?

Методы, приходящие в голову в первую очередь:

• Собрать визитки и внести данные в систему управления информацией о клиентах;
• Раздавать посетителям купоны на скидку, а затем отслеживать их возвращение.

Эти методы могут сработать в небольших компаниях, однако из-за длительности цикла принятия решения-покупки в крупных организациях результаты подобной работы будут размыты.

Ключевой вопрос: какие изменения вы можете внедрить в систему сегодня, чтобы завтра вам было проще её отслеживать?

Вернёмся к примеру с выставкой: предложите всем посетителям пройти бесплатную самопроверку по релевантной с вашим продуктом теме (автоматизированную при помощи смартфона или планшета). Вашими лидами являются посетители, прошедшие тест. Результаты участия в выставке не только станут более осязаемыми, но и отдел продаж сможет работать с более заинтересованными лидами.

12. Автоматизация. Получите ли вы уведомление, если что-то произойдёт?

Последний, но не менее важный этап. Обновление и отслеживание показателей вручную значительно повышает стоимость измерения (см. этап 11).

Профессиональная программа для автоматизации ССП (например, наше ПО BSC Designer) поможет вам автоматизировать KPI и упростит вашу жизнь (=снизит затраты на измерение). Программа поможет:

• Настроить шкалу, направление оптимизации, единицы измерения и целевые цифры показателя.
• Рассчитать производительность в процентах. Так вы сможете в одной системе показателей сравнить «деньги», «посетителей в день» и «минуты».
• Отслеживать KPI в течение определённого периода.
• Визуализировать информацию на стратегических картах и информационных панелях.
• Установить оповещения для показателей.

Excel и подобное ПО отлично работает на фазе прототипа, однако если масштаб измерения меняется, использование профессионального инструмента будет гораздо более удобным. Прежде чем начинать поиск инструмента для отслеживания KPI, убедитесь в том, что вы понимаете, чем отличается программа для автоматизации KPI от инструмента автоматизации ССП.

Примеры и вопросы

Несколько рекомендаций для дальнейшего изучения темы:

• Дополнительное руководство вы найдёте в статье, посвященной ответам на вопросы о KPI.
• На сайте bscdesigner.ru вы можете найти конкретные примеры систем показателей с соответствующими KPI.

12 этапов или 10 этапов

Через год после публикации статьи и инфографики «12-этаптаная система KPI» я написал книгу, в которой сократил количество шагов с 12 до 10. Здесь вы найдёте краткое объяснение того, почему в книге «10 этапов системы KPI» количество шагов было сокращено:

Впервые формальное описание системы KPI было опубликовано в 2014 году. Она включала 10 этапов и удобную одностраничную диаграмму, которая помогала командам находить решения сложных задач. Следующая версия включала 12 шагов: описание декомпозиции, заинтересованных сторон и контекста были разбиты на отдельные этапы. Вскоре стало ясно, что три отдельных этапа, которые хорошо вписывались на уровне теории, не имели смысла на практике. Первый этап данной системы KPI включает описание трёх концепций, а их обоснование содержит примеры. Я считаю, что подобная форма работы является более полезной для читателей.

Книга представляет собой детализированный анализ области KPI, возможных сложностей применения показателей и способов их преодоления. В качестве бонуса вы найдёте в книге версию шаблона KPI для скачивания. Узнать о книге больше.

Загрузить шаблон и примеры в формате PDF

Шаблон KPI

Для создания идеальных KPI выполните 12 шагов системы.

Как подобрать KPI

Краткий обзор статьи, описывающий 12 этапов создания идеального KPI.

1. Определите объект измерения.
2. Определите, кем являются заинтересованные в объекте стороны.
3. Определите причины измерения.
4. Избегайте простых в измерении показателей с низкой ценностью.
5. Определите ограничения, найдите показатели результата и действия.
6. Проводите наблюдения и эксперименты.
7. Настройте шкалу, вес и формулу производительности показателя.
8. Анализируйте обусловленное индикаторами поведение.

Ждем ваших комментариев!

Надеюсь, эта система поможет вам значительно улучшить систему показателей, и вскоре станет полезным инструментом для ежедневного использования. Прошу вас поделиться своим мнением по следующим вопросам:

• Что именно оказалось для вас эффективным?
• Что может быть улучшено?

В комментариях вы можете поделиться своими идеями или задать вопросы.