- Первый мета-анализ коучинга: 18 исследований, 2090 человек, один честный ответ
- Коучинг как индустрия без доказательств — и почему это наконец изменилось
- Отрасль на $2 млрд в год продавала себя без единого строгого доказательства
- Как отделяли важное от шума: методология отбора
- g = 0,66: что стоит за главной цифрой этого исследования
- Пять областей жизни, которые меняет коучинг — с точными цифрами
- Сводная таблица: все пять областей вместе
- Без контрольной группы эффект выглядит вдвое больше — вот почему это важно
- Больше сессий ≠ лучший результат: самый контринтуитивный вывод исследования
- Пять вещей, которых это исследование НЕ доказывает — и авторы сами об этом говорят
- Три вывода, которые меняют то, как нужно думать о коучинге
Первый мета-анализ коучинга: 18 исследований, 2090 человек, один честный ответ
Tim Theeboom, Bianca Beersma & Annelies E.M. van Vianen, The Journal of Positive Psychology (2013)
Коучинг как индустрия без доказательств — и почему это наконец изменилось
В 2013 году психологи Амстердамского университета Тим Тибум, Бьянка Берсма и Аннелис ван Вианен опубликовали первый масштабный научный анализ эффективности коучинга на рабочем месте. Конечно, после этого вышли и другие материалы, в которых исследователи анализировали более поздние данные, но этот метаанализ ценен тем, что он был первым, поэтому предлагается изучить его.
Мета-анализ — это исследование исследований. Учёные берут несколько уже проведённых научных работ на одну тему, объединяют их данные и анализируют всё вместе, чтобы получить более надёжный и точный вывод, чем даёт любое отдельное исследование.
То есть исследователи не проводили новый эксперимент — вместо этого собрали и обработали данные 18 уже существующих исследований с участием более 2 000 человек. Вывод оказался однозначным: коучинг работает, причём сразу в нескольких важных областях жизни человека на работе.
Отрасль на $2 млрд в год продавала себя без единого строгого доказательства

Прежде чем перейти к цифрам, важно понять контекст того времени — речь идёт о 2013–2014 гг. К моменту публикации исследования коучинг уже стал индустрией. Международная федерация коучинга насчитывала более 20 000 членов в 100 странах. Мировой оборот рынка составлял около 2 миллиардов долларов в год. Средняя стоимость часа работы с профессиональным коучем — 237 долларов, а Harvard Business Review отмечал, что некоторые специалисты берут до 3 500 долларов за час.
У корпораций, покупающих коучинг для сотрудников, был законный вопрос: за что платим? Проблема была в том, что ответить на него по-научному никто не мог. Большинство исследований коучинга до этой работы были написаны самими коучами — людьми, заинтересованными в положительном результате и, как правило, не имеющими подготовки в области научных и статистических методов. Строгих экспериментов было ничтожно мало.
Как отделяли важное от шума: методология отбора
Исследователи проанализировали шесть крупных научных баз данных — Google Scholar, JSTOR, Mendeley, PsycINFO, ScienceDirect и Springerlink — и разослали запросы коллегам через профессиональные ассоциации: Академию менеджмента, Общество индустриальной и организационной психологии, Европейскую ассоциацию социальной психологии. Изначально они нашли 107 работ о коучинге.
Затем начался более жёсткий отбор. Были исключены исследования без числовых данных, а также случаи, когда коучем выступал непосредственный начальник, программы, где одновременно с коучингом использовались другие методы (например, тренинг), исключили работы без замеров до и после коучинга. После в финальном анализе осталось 18 исследований с суммарной выборкой 2 090 человек.
В мета-анализе рассматривается довольно широкий спектр участников коучинга: корпоративные менеджеры, рядовые сотрудники, учителя, студенты и старшеклассники. Студентов и школьников включили намеренно — авторы объясняют, что их ситуация достаточно близка к рабочей: дедлайны, командная работа, необходимость самоорганизации.
Количество сессий в разных исследованиях варьировалось от 1 до 50. Большинство программ включало около 10 встреч.
Авторы выделили пять ключевых областей. Три независимых исследователя распределяли все показатели по категориям — степень их согласия составила 0,80 по шкале каппа Коэна (коэффициент, предложенный Коэном в 1960 году для оценки согласованности между наблюдениями с учётом того, что часть этой согласованности может быть случайной), что в науке считается высоким результатом. То есть три человека, работая независимо друг от друга, в подавляющем большинстве случаев одинаково классифицировали одни и те же данные.
g = 0,66: что стоит за главной цифрой этого исследования
Авторы использовали показатель, который называется Hedges’ g.
Hedges’ g — это мера размера эффекта, которая используется для количественной оценки разницы между средними значениями двух групп (обычно экспериментальной и контрольной). Она представляет собой стандартизированное среднее различие (SMD) и позволяет оценить величину эффекта с учётом вариативности данных.
Он показывает, насколько сильно изменился результат в группе коучинга по сравнению с группой без коучинга. Чем больше число, тем сильнее эффект. Сами авторы ориентируются на принятую в науке шкалу, где значения в районе 0,2 считаются небольшими, около 0,5 — средними, а от 0,8 и выше — сильными.
Авторы специально выбрали Hedges’ g, потому что он точнее работает с маленькими выборками и не завышает результат — то есть все полученные цифры уже «консервативные», то есть скорее заниженные, чем завышенные.
Общий эффект коучинга: g = 0,66
Это первая и главная цифра мета-анализа. Усреднённый эффект коучинга по всем 18 исследованиям и всем пяти областям составил g = 0,66 при доверительном интервале от 0,39 до 0,93.
Доверительный интервал говорит: с 95-процентной вероятностью истинный эффект коучинга находится где-то между этими двумя значениями. Нижняя граница — небольшой, но реальный эффект. Верхняя — уже весьма ощутимый. В любом случае ноль в этот диапазон не попадает, а значит, результат статистически достоверен: вероятность того, что весь эффект — случайность, крайне мала. Когда авторы убрали из расчётов исследование Питерсона 1993 года — оно выбивалось из общего ряда, там было 50 сессий на одного участника, что нетипично — общий эффект снизился до g = 0,51, но остался статистически значимым. Это важная проверка: выводы не держатся на одном нетипичном случае.
Пять областей жизни, которые меняет коучинг — с точными цифрами
1. Профессиональные навыки и результативность: g = 0,60
Здесь анализировались как объективные показатели — например, оценки руководителя или количество продаж — так и поведенческие, например, улучшение лидерского стиля по мнению команды. Важная оговорка: когда из расчётов убрали исследование Питерсона, эффект в этой категории упал до g = 0,19. Авторы специально это отмечают. То есть именно в области профессиональных навыков данные наименее устойчивы — сильно зависят от одного нетипичного исследования. Здесь нужна осторожность.
2. Психологическое благополучие: g = 0,46 — самый надёжный результат из всех
Сюда вошли показатели стресса, тревоги, депрессии, выгорания, удовлетворённости жизнью.
g = 0,46 — чуть ниже среднего по шкале, но у этого результата особая ценность: технический показатель разброса между исследованиями I² = 0%. Это означает, что все десять исследований, измерявших благополучие, показали практически одинаковые результаты. Это самый стабильный и воспроизводимый результат из всех пяти категорий. Авторы также приводят контекст: рабочий стресс затрагивает более 20% работников в странах Евросоюза и обходится организациям примерно в 20 миллиардов евро в год.
3. Умение справляться со стрессом и трудностями: g = 0,43
Это наименьший эффект из пяти — но он есть и статистически достоверен. Сюда относится то, что психологи называют копингом: уверенность в собственных силах перед лицом трудной задачи, психологическая гибкость, осознанность, умение понимать реальные причины своих неудач и успехов.
4. Отношение к работе: g = 0,54
Здесь измерялись удовлетворённость работой, приверженность организации, удовлетворённость карьерой. Коуч помогает человеку иначе посмотреть на свою рабочую ситуацию. Когда изменить обстоятельства невозможно — можно изменить их восприятие. В статье это называется когнитивным переосмыслением и описывается как один из центральных элементов многих коучинговых программ. Авторы также ссылаются на устоявшуюся в науке связь между удовлетворённостью работой и реальной производительностью.
5. Целеполагание и саморегуляция: g = 0,74 — сильнейший результат
Самый сильный результат из всех пяти. Сюда вошли: умение ставить конкретные цели, вера в их достижимость, прогресс в движении к целям, приверженность им. Именно работа с целями — это ядро большинства коучинговых программ. И именно здесь данные показывают, что он выполняет то, ради чего создавался.
Сводная таблица: все пять областей вместе

| Область | Размер эффекта (g) | Число исследований | Общая выборка |
| Профессиональные навыки | 0,60 | 6 | 2 007 |
| Психологическое благополучие | 0,46 | 10 | 564 |
| Справляться со стрессом | 0,43 | 10 | 1 703 |
| Отношение к работе | 0,54 | 7 | 507 |
| Целеполагание | 0,74 | 11 | 789 |
| Общий эффект | 0,66 | 18 | 2 090 |
Без контрольной группы эффект выглядит вдвое больше — вот почему это важно

В части работ участников сравнивали самих с собой: измеряли до коучинга и после, без контрольной группы. Средний эффект в таких исследованиях составил g = 1,15. В других исследованиях была контрольная группа — люди, которые коучинга не получали. Там средний эффект оказался g = 0,39. Разница статистически значима (p = 0,036). Авторы дают пояснение, что когда нет контрольной группы, вы видите все изменения, произошедшие с человеком за время коучинга — в том числе те, что случились бы и без него. Контрольная группа позволяет «вычесть» этот естественный прогресс. Исследования без контрольной группы, по всей видимости, завышают эффект коучинга.
Больше сессий ≠ лучший результат: самый контринтуитивный вывод исследования
Авторы разделили исследования на две группы: 5 и менее сессий и более 5 сессий — такое разделение возникло из самих данных, поскольку часть исследований использовала именно пять встреч как максимум. Статистический анализ не выявил значимой разницы в средних результатах между этими группами. Больше сессий не означает автоматически лучший результат.
Но авторы фиксируют важный нюанс: длинные программы дают более предсказуемый, устойчивый эффект. Авторы связывают это с теорией трансформационного обучения, а именно на то, что глубокие изменения требуют времени и достаточного числа возможностей для осмысления и практики.
Авторы предлагают два объяснения обнаруженного парадокса:
— Люди с простыми, чётко сформулированными запросами нуждаются в меньшем числе сессий и при этом показывают хорошие результаты.
— Краткие программы в большинстве исследований использовали решение-ориентированный коучинг — подход, который изначально создан для быстрой работы и не требует долгого разбора корней проблемы, а сразу фокусируется на поиске выхода.
Пять вещей, которых это исследование НЕ доказывает — и авторы сами об этом говорят
1. Большинство данных — самооценка участников
Большинство исследований опирались на самоотчёты. По словам авторов, самооценка склонна завышать эффект коучинга по сравнению с оценками руководителей или коллег. В одном из включённых исследований — Питерсона 1993 года — зафиксировано «значительное несоответствие» между тем, как люди оценивали себя сами, и тем, как их оценивали другие.
2. Нет данных о долгосрочном эффекте
Большинство исследований не проверяли, сохраняются ли результаты через какое-то время после окончания коучинга.
3. Коучинг влияет только на самого участника — и это не всё
Если руководитель после коучинга стал лучше управлять командой, это должно было повлиять на его подчинённых. Ни одно из исследований такие «побочные» эффекты не измеряло.
4. 18 исследований — мало
При небольшом числе работ один нетипичный результат может существенно изменить общую картину. Что и произошло с категорией «профессиональные навыки», где удаление одного исследования обвалило эффект с g = 0,60 до g = 0,19. Авторы также указывают, что при малом числе исследований тесты на публикационное смещение — то есть на риск того, что «неудобные» отрицательные результаты просто не публиковались — дают ненадёжные результаты.
5. Одно исследование доминирует по размеру выборки
Из 2 090 участников 1 243 человека — то есть больше половины всей выборки — приходятся на одно исследование Смитера и коллег (2003), где эффект оказался значительно ниже среднего. Авторы отмечают, что это сделало итоговую оценку более консервативной — то есть реальный эффект может быть даже выше, чем показывают цифры.
Три вывода, которые меняют то, как нужно думать о коучинге
Деньги и честность
Коучинг — это индустрия с оборотом в 2013 г. в 2 миллиарда долларов в год, которая долгое время продавала себя без научных доказательств. Это исследование — первая серьёзная попытка разобраться, за что именно платят компании. Ответ: платят не зря, но реальный эффект — ближе к g = 0,39 в строгих экспериментах с контрольными группами — скромнее, чем обещает реклама.
Парадокс количества сессий
Один из самых контринтуитивных выводов — больше сессий не значит лучше результат в среднем, хотя и даёт более предсказуемый исход. Это важный сигнал для рынка.
«Как», а не «работает ли» — следующий вопрос науки
Авторы заканчивают работу прямым призывом: пора переключить внимание с вопроса «работает ли коучинг» на вопрос «как именно он работает». Наука ответила на первый вопрос утвердительно. Второй — гораздо важнее для практики и пока остаётся без ответа.
Это был первый материал по анализу наиболее значимых и цитируемых исследований эффективности коучинга. Планируется последовательно рассматривать все наиболее значимые исследования для сбора информации, которая поможет как самим коучам понимать то, как их коучинг может быть полезен клиентам, так и организациям, которые нанимают коучей.
Обзор основан на исследовании: Tim Theeboom, Bianca Beersma & Annelies E.M. van Vianen. Does coaching work? A meta-analysis on the effects of coaching on individual level outcomes in an organizational context. The Journal of Positive Psychology (2013). DOI: 10.1080/17439760.2013.837499