Как освоиться в продуктовой аналитике
Как не бояться цифр и дашбордов
На 90% работы продакта хватает математики седьмого класса. Дроби, проценты, деление.
Оставшаяся десятая часть живет в экспериментах. Там нужна статистика, причем в форме понимания принципов: формулы посчитает калькулятор, аналитик или AI.
Но принципы знать надо в любом случае. О них и пойдет речь ниже:
Оставшаяся десятая часть живет в экспериментах. Там нужна статистика, причем в форме понимания принципов: формулы посчитает калькулятор, аналитик или AI.
Но принципы знать надо в любом случае. О них и пойдет речь ниже:
Содержание:
Что продакты считают на самом деле
Вот у продакта в календаре написано «поработать с цифрами». Что там происходит на самом деле? Тензорный анализ? Байесовские сети?
На практике это будут проценты, конверсии, отток и простые прогнозы. Алгебра за седьмой класс.
Окей, допустим, ежедневная рутина простая.
Но есть же «серьёзные» цифры индустрии, бенчмарки, по которым меряют продукты. Посмотрим, из чего сделаны они.
Amplitude обсчитал 10 600 продуктов у 2 600 компаний.
У медианного продукта 98% новых пользователей умирают за две недели.
Retention третьего месяца, 3,8%, у топ-10% продуктов - 18,5%.
Вернули 7% пользователей на седьмой день, значит вы в верхней четверти индустрии.
А теперь заметьте, как устроено каждое из этих страшных чисел. Одно число поделили на другое. Все. Это весь секретный матаппарат продуктовой аналитики.
Воронки это то же деление, только по шагам.
Конверсия шага 2→3 равна 40%, значит, 60% людей вы теряете на онбординге.
Чинить идут туда, где в штуках отвалилось больше всего народу. Резко упало на одном шаге значит локальная поломка. Ровно сыпется на всех шагах, похоже что вы налили в воронку не тех людей. Диагностика паттернов и всего.
Причем даже точность здесь не нужна. Большинству продактов, которые работают не в Google, плевать на третий знак после запятой, они идут за десятками процентов и кратным ростом.
«Но чего-то же продактам не хватает?»
Чего угодно, только не матстата. Когда продактов спрашивают про слабые места, топ выглядит так:
проверка гипотез 69%,
аналитика и метрики 53%,
экономика 44%.
Пропуски будут в дереве метрик и связях между ними, а не в формулах.
При этом важно понимать планка растет с сеньорностью и доменом. В e-commerce и SaaS придётся читать A/B-тесты и когорты, в AI-продуктах надо понимать статистику за ML. Но это надстройка над той же базой, а не другая профессия.
Вспомните все это перед следующим собеседованием, все что вы будете там считать, это дроби.
На практике это будут проценты, конверсии, отток и простые прогнозы. Алгебра за седьмой класс.
Окей, допустим, ежедневная рутина простая.
Но есть же «серьёзные» цифры индустрии, бенчмарки, по которым меряют продукты. Посмотрим, из чего сделаны они.
Amplitude обсчитал 10 600 продуктов у 2 600 компаний.
У медианного продукта 98% новых пользователей умирают за две недели.
Retention третьего месяца, 3,8%, у топ-10% продуктов - 18,5%.
Вернули 7% пользователей на седьмой день, значит вы в верхней четверти индустрии.
А теперь заметьте, как устроено каждое из этих страшных чисел. Одно число поделили на другое. Все. Это весь секретный матаппарат продуктовой аналитики.
Воронки это то же деление, только по шагам.
Конверсия шага 2→3 равна 40%, значит, 60% людей вы теряете на онбординге.
Чинить идут туда, где в штуках отвалилось больше всего народу. Резко упало на одном шаге значит локальная поломка. Ровно сыпется на всех шагах, похоже что вы налили в воронку не тех людей. Диагностика паттернов и всего.
Причем даже точность здесь не нужна. Большинству продактов, которые работают не в Google, плевать на третий знак после запятой, они идут за десятками процентов и кратным ростом.
«Но чего-то же продактам не хватает?»
Чего угодно, только не матстата. Когда продактов спрашивают про слабые места, топ выглядит так:
проверка гипотез 69%,
аналитика и метрики 53%,
экономика 44%.
Пропуски будут в дереве метрик и связях между ними, а не в формулах.
При этом важно понимать планка растет с сеньорностью и доменом. В e-commerce и SaaS придётся читать A/B-тесты и когорты, в AI-продуктах надо понимать статистику за ML. Но это надстройка над той же базой, а не другая профессия.
Вспомните все это перед следующим собеседованием, все что вы будете там считать, это дроби.
Материалы
GoPractice.io
март 2024
How important are math skills for product managers?
Ежедневная математика PM по признанию практиков: проценты, конверсии, отток. Планка растёт с сеньорностью и доменом, до матстата не доходит.
Amplitude
2025
What Is Product Analytics? A Data-Backed Guide
98% новых пользователей медианного продукта уходят за две недели, retention третьего месяца 3,8% против 18,5% у топ-10%. Все ключевые цифры индустрии: проценты от счётчиков.
Product Games
апр. 2026
Анализ воронки: как найти проблему в конверсии и починить её
Вся воронковая математика — деление и сравнение. Приоритизация от абсолютного оттока, диагностика по паттерну падения.
Блог ProductSense
2021
Как и для чего менеджеру продуктов развивать математическое мышление
«Не важна точность до третьего знака, продакты идут за десятками процентов и кратным ростом». Минимум: концепции тервера без формул, среднее и медиана, счёт «в закрытую».
Roots
июль 2024
Чемоданчик продакт-менеджера
Точки роста по самооценке: проверка гипотез 69%, аналитика и метрики 53%, экономика 44%. 40% руководителей называют дерево метрик ключевым навыком продакта.
Хабр
апр. 2026
Сколько зарабатывают продакт-менеджеры в 2026? И как оценить свою зарплату?
Рост зарплат продактов в 2026 всего +4%, средняя по Хабр Карьере 291 666 руб. Верх вилки у тех, кто работает с выручкой, конверсией и метриками.
Почему все считают, что аналитика сложная
Окей, если вся ежедневная математика это дроби, откуда тогда стойкое ощущение, что без матстата уровня магистратуры в продакты не пускают?
У мифа три источника.
Источник 1: вакансии.
«Сильные аналитические навыки» пишут в каждой второй вакансии продакта. Что это значит никто не расшифровывает, потому что итогового понимания ни у кого нет.
Написать ведь это требование ничего не стоит, а образ компании становится серьезнее.
При этом когда продактов десятый год подряд спрашивают, что реально главное в их работе, они отвечают стратегия и рост выручки. И умение формировать сложные математические модели не указывают.
Источник 2: лента.
Пост «как я применил байесовский A/B-тест» собирает лайки, репосты.
Пост «я поделил одно число на другое и нашёл проблему» не напишет никто и никогда, хотя именно так в большинстве случаев выглядит работа.
В алгоритмах соцсетей выживает сложное и экзотическое. В итоге лента подстраивается под это, а работа состоит из скучной медианы.
Источник 3: соседство.
Продакт сидит рядом с аналитиками и дата-саентистами, видит их экраны в формулах и начинает себя сравнивать.
Тут есть контраргумент, самая цитируемая книга об экспериментах написана в двух половинах: первая для продактов и дизайнеров, вторая для дата-аналитиков. Принципы вам, а формулы для узких специалистов.
И самое интересное!
Математическая тревожность это изученный феномен: по данным международных замеров, ее несут от 30 до 60% школьников, и во взрослую жизнь она доезжает без изменений. Тревога занимает рабочую память вторым процессом и вы буквально тупеете от страха.
Избегание дает мгновенное облегчение. Каждая неудача укрепляет веру "я не математик".
И в итоге чем дольше не открываешь цифры, тем страшнее открыть.
Насколько это массово? Вопрос «у меня нет технического бэкграунда, мне страшно на встречах с инженерами» приходит в крупнейшую PM-рассылку мира так часто, что получил отдельный выпуск. Очень распространенная проблема.
И разрыв между риторикой и реальностью. По исследованию среди продуктовых лидеров, доля решений "на данных" за год удвоилась, с 37% до 71%.
Отлично.
Но при этом 32% тех же лидеров признаются, что решают в основном чутьем.
То есть мы data-driven, но на собеседованиях. А в реальности все решается на чуйке.
Кое-где на входе планка будет правда выше.
Иногда разворачивают кандидатов за незнание например принципов А/Б тестов. Но это принципы, а не формулы. Все это можно быстро усвоить.
У мифа три источника.
Источник 1: вакансии.
«Сильные аналитические навыки» пишут в каждой второй вакансии продакта. Что это значит никто не расшифровывает, потому что итогового понимания ни у кого нет.
Написать ведь это требование ничего не стоит, а образ компании становится серьезнее.
При этом когда продактов десятый год подряд спрашивают, что реально главное в их работе, они отвечают стратегия и рост выручки. И умение формировать сложные математические модели не указывают.
Источник 2: лента.
Пост «как я применил байесовский A/B-тест» собирает лайки, репосты.
Пост «я поделил одно число на другое и нашёл проблему» не напишет никто и никогда, хотя именно так в большинстве случаев выглядит работа.
В алгоритмах соцсетей выживает сложное и экзотическое. В итоге лента подстраивается под это, а работа состоит из скучной медианы.
Источник 3: соседство.
Продакт сидит рядом с аналитиками и дата-саентистами, видит их экраны в формулах и начинает себя сравнивать.
Тут есть контраргумент, самая цитируемая книга об экспериментах написана в двух половинах: первая для продактов и дизайнеров, вторая для дата-аналитиков. Принципы вам, а формулы для узких специалистов.
И самое интересное!
Математическая тревожность это изученный феномен: по данным международных замеров, ее несут от 30 до 60% школьников, и во взрослую жизнь она доезжает без изменений. Тревога занимает рабочую память вторым процессом и вы буквально тупеете от страха.
Избегание дает мгновенное облегчение. Каждая неудача укрепляет веру "я не математик".
И в итоге чем дольше не открываешь цифры, тем страшнее открыть.
Насколько это массово? Вопрос «у меня нет технического бэкграунда, мне страшно на встречах с инженерами» приходит в крупнейшую PM-рассылку мира так часто, что получил отдельный выпуск. Очень распространенная проблема.
И разрыв между риторикой и реальностью. По исследованию среди продуктовых лидеров, доля решений "на данных" за год удвоилась, с 37% до 71%.
Отлично.
Но при этом 32% тех же лидеров признаются, что решают в основном чутьем.
То есть мы data-driven, но на собеседованиях. А в реальности все решается на чуйке.
Кое-где на входе планка будет правда выше.
Иногда разворачивают кандидатов за незнание например принципов А/Б тестов. Но это принципы, а не формулы. Все это можно быстро усвоить.
Материалы
ProductPlan
2025
The 2025 State of Product Management Report
Главная ценность продакта: стратегия; главная метрика успеха: рост выручки. Статистики уровня дата-сайентиста в списке ожиданий нет.
Pendo
2022
The State of Product Leadership Europe 2022
Доля решений по роадмапу на количественных данных удвоилась за год: с 37% до 71%. И 32% лидеров всё ещё решают в основном чутьём.
Lenny's Newsletter
сент. 2021
Getting more technical
Страх «я недостаточно техничный» как рутинный вопрос читателей крупнейшей PM-рассылки мира. Сам факт существования выпуска: диагноз массовости.
Psyche
2025
If you think you are «just not a math person» then think again
30–60% школьников по PISA несут математическую тревожность, петля избегания доезжает до взрослых карьер. Лечение: регулярная практика с низкими ставками.
ProductSense
2019–2025
Исследования State of Product Management
Единственный длинный ряд данных о навыках и зарплатах русскоязычных продактов. Первый отчёт серии (2019) назывался «Аналитика — всему голова».
Честность в расчетах
Теперь про то, как считать.
Со сложностью разобрались: все это деление.
Осталось определиться что на что делить.
Правило одно: делить честное на честное.
Сравнивать одинаковые периоды, одинаковые сегменты, одну и ту же формулу метрики. Короче, яблоки с яблоками.
Именно это правило ломается незаметнее всего.
Классический пример: Android даёт конверсию 5,5% против 4% у iOS. Победитель очевиден?
Теперь режем по устройствам. iPad обгоняет Android-планшеты. iPhone обгоняет Android-смартфоны. Apple выигрывает в каждом сегменте и проигрывает в сумме.
Как так?
В общий котёл смешали группы разного размера: у Android миллион дешёвых смартфонов с низкой конверсией, у Apple другой состав аудитории.
Это парадокс Симпсона: общая цифра врёт, даже когда каждая её часть говорит правду. Защита от него в привычке резать любую цифру на сегменты: платформа, регион, источник трафика.
Вторая привычка держать в голове порядки величин.
«Рост на 300%» от базы в четыре пользователя это двенадцать пользователей. Поэтому рядом с любым процентом всегда спрашивайте абсолютные числа.
Третья привычка: не верить красивым цифрам.
Закон Тваймана: любая цифра, которая выглядит интересной или необычной, скорее всего ошибка. Метрика взлетела на 40% за день? Чаще это сломанная разметка событий, чем гениальный релиз. Сначала проверка, потом радость. Получить цифры легко, а вот получить цифры, которым можно верить, тяжело.
Ничего нового в этих привычках, кстати, нет. Каталогу трюков с цифрами 70 лет Darrell Huff, «How to Lie with Statistics»:
обрезанные оси,
удобное среднее вместо медианы,
смещённая выборка,
корреляция, проданная как причинность.
За 70 лет не устарел ни один пункт, а значит, не устарела и защита: подозрительность ко всему.
И чтобы у планки была высота, вот что конкретно надо знать:
отличать медиану от среднего,
корреляцию от причинности,
понимать статистическую значимость и уметь посчитать её онлайн-калькулятором.
Заметьте, в списке ни одной формулы. Нужные навыки собраны в карте навыков, а также во введении в продуктовую аналитику
Со сложностью разобрались: все это деление.
Осталось определиться что на что делить.
Правило одно: делить честное на честное.
Сравнивать одинаковые периоды, одинаковые сегменты, одну и ту же формулу метрики. Короче, яблоки с яблоками.
Именно это правило ломается незаметнее всего.
Классический пример: Android даёт конверсию 5,5% против 4% у iOS. Победитель очевиден?
Теперь режем по устройствам. iPad обгоняет Android-планшеты. iPhone обгоняет Android-смартфоны. Apple выигрывает в каждом сегменте и проигрывает в сумме.
Как так?
В общий котёл смешали группы разного размера: у Android миллион дешёвых смартфонов с низкой конверсией, у Apple другой состав аудитории.
Это парадокс Симпсона: общая цифра врёт, даже когда каждая её часть говорит правду. Защита от него в привычке резать любую цифру на сегменты: платформа, регион, источник трафика.
Вторая привычка держать в голове порядки величин.
«Рост на 300%» от базы в четыре пользователя это двенадцать пользователей. Поэтому рядом с любым процентом всегда спрашивайте абсолютные числа.
Третья привычка: не верить красивым цифрам.
Закон Тваймана: любая цифра, которая выглядит интересной или необычной, скорее всего ошибка. Метрика взлетела на 40% за день? Чаще это сломанная разметка событий, чем гениальный релиз. Сначала проверка, потом радость. Получить цифры легко, а вот получить цифры, которым можно верить, тяжело.
Ничего нового в этих привычках, кстати, нет. Каталогу трюков с цифрами 70 лет Darrell Huff, «How to Lie with Statistics»:
обрезанные оси,
удобное среднее вместо медианы,
смещённая выборка,
корреляция, проданная как причинность.
За 70 лет не устарел ни один пункт, а значит, не устарела и защита: подозрительность ко всему.
И чтобы у планки была высота, вот что конкретно надо знать:
отличать медиану от среднего,
корреляцию от причинности,
понимать статистическую значимость и уметь посчитать её онлайн-калькулятором.
Заметьте, в списке ни одной формулы. Нужные навыки собраны в карте навыков, а также во введении в продуктовую аналитику
Материалы
Хабр / Apps4All
2014
Парадокс Симпсона в мобильной аналитике
Android 5,5% против iOS 4% в агрегате, Apple выигрывает в каждом отдельном сегменте. Самый короткий числовой пример того, почему агрегатам нельзя верить без разбивки.
Tyler Vigen
действующий проект
Spurious Correlations
25 237 переменных, 636 млн посчитанных корреляций, тысячи графиков вида «маргарин и разводы в Мэне». К каждому — разбор, почему корреляция ложная.
vc.ru / AliExpress
2021
Как продакт-менеджеру улучшить знания продуктовой аналитики: 6 практических советов
Планка достаточности от продакта AliExpress: медиана и среднее, корреляция и причинность, значимость через онлайн-калькулятор. Кейс: 2 млн рублей GMV разницы могут быть незначимы.
Kohavi, Deng, Vermeer
KDD 2022
A/B Testing Intuition Busters
Авторы из Microsoft, Airbnb и Booking разбирают заблуждения об экспериментах, которые тиражируют даже вендоры A/B-инструментов.
Эксперименты и статистика
Есть один участок работы продакта правда требует статистики.
Эксперименты.
И здесь важно понимать принципы, а не делать расчеты вручную.
Принцип первый: маленькая выборка врёт.
Начнем с монетки. Подбросьте ее десять раз. Семь орлов из десяти? Окей. Подбросьте тысячу раз: орлов будет около половины.
Случайность происходит на малых числах и растворяется на больших.
С тестами та же история. Пример: 10 пользователей, retention 40% в одной группе и 60% в другой. Звучит как победитель.
Но такая разница легко выпадает случайно, как семь орлов из десяти. Теперь 2 000 пользователей: вернулись 330 в одной группе и 420 в другой. Вот тут вывод делать можно.
Заодно разберем страшное слово p-value.
Это вероятность увидеть такую разницу на чистой случайности, когда эффекта нет вообще.
Разница между группами появится всегда, даже у бесполезной фичи: Поэтому вопрос теста звучит так: могла ли наша разница нарисоваться чистым шумом?
P-value 0,01 значит: если фича на самом деле ничего не меняет, такая разница (или ещё больше) выпадет случайно только в 1 тесте из 100. Редко. Значит, скорее всего, эффект настоящий.
P-value 0,4 значит: такая разница выпадает случайно в 40 тестах из 100. Такое часто формируется шумом и верить этому нельзя.
Порог 0,05 внедрили просто договоренность индустрии, где кончается «редко».
Есть совсем наглядное объяснение на яблоках
Принцип второй: мощность.
Мощность это способность теста заметить эффект, который реально существует.
Представьте прожектор.
Мощный прожектор высветит кошку в конце двора. Со слабым прожектором вы решите, что кошки нет, хотя на самом деле просто мощности фонаря недостаточно.
Самое неприятное в слабых тестах, это то что вы начинаете системно выбрасывать работающие улучшения. Фича реально улучшала продукт, но из-за плохого теста этого не увидели.
Повторите цикл год, и вы искренне поверите, что ничего не работает. В зрелых продуктах типичный эффект фичи 0,5–1%, и для таких эффектов нужны очень большие выборки.
Принцип третий: подглядывание.
Запустили тест.
Каждое утро открываете дашборд. На третий день загорелось «статистически значимо, эффект положительный».
Останавливаете тест, пишете как результат "Успешный А/Б тест".
Вот тут и ошибка.
P-value (вероятность случайного срабатывания) не стоит на месте. Пока копятся данные, он гуляет вверх и вниз. Если проверять его каждый день и остановиться на первом подходящем значении, вы даете случайности много попыток пересечь порог.
Рано или поздно она пересечет. Словно подбрасывать монету до первого удобного результата и в этот момент остановиться.
Смотреть на промежуточные результаты можно. Принимать по ним решение нельзя. Поэтому дата окончания теста назначается до запуска.
Принцип четвертый: множественные сравнения.
Каждый тест при пороге в p value 0,05 может соврать. Примерно 1 раз из 20 он покажет победу, которой в реальности нет.
Вы можете вытащить фальшивый результат в 1 случае из 20. В целом терпимо.
А теперь запускаем двадцать тестов одновременно. У вас на руках двадцать билетов. Шанс, что хотя бы один соврет, вырастает до 64%. То есть вы почти гарантированно отпразднуете улучшение, которого нет.
То же самое внутри одного теста.
Проверяете 20 метрик сразу? Одна или две вырастут просто так, на удаче. Google однажды тестировал 41 оттенок синего цвета. При 41 варианте шанс поймать фальшивого победителя был 88%.
Чем больше всего проверяете за раз, тем больше случайных побед вам подкинет удача.
Есть целый музей реальных провалов по всем четырем принципам.
И помните:
Самые опасные ошибки часто исходят от тех, кто считает, что освоил A/B-тестирование».
Эксперименты.
И здесь важно понимать принципы, а не делать расчеты вручную.
Принцип первый: маленькая выборка врёт.
Начнем с монетки. Подбросьте ее десять раз. Семь орлов из десяти? Окей. Подбросьте тысячу раз: орлов будет около половины.
Случайность происходит на малых числах и растворяется на больших.
С тестами та же история. Пример: 10 пользователей, retention 40% в одной группе и 60% в другой. Звучит как победитель.
Но такая разница легко выпадает случайно, как семь орлов из десяти. Теперь 2 000 пользователей: вернулись 330 в одной группе и 420 в другой. Вот тут вывод делать можно.
Заодно разберем страшное слово p-value.
Это вероятность увидеть такую разницу на чистой случайности, когда эффекта нет вообще.
Разница между группами появится всегда, даже у бесполезной фичи: Поэтому вопрос теста звучит так: могла ли наша разница нарисоваться чистым шумом?
P-value 0,01 значит: если фича на самом деле ничего не меняет, такая разница (или ещё больше) выпадет случайно только в 1 тесте из 100. Редко. Значит, скорее всего, эффект настоящий.
P-value 0,4 значит: такая разница выпадает случайно в 40 тестах из 100. Такое часто формируется шумом и верить этому нельзя.
Порог 0,05 внедрили просто договоренность индустрии, где кончается «редко».
Есть совсем наглядное объяснение на яблоках
Принцип второй: мощность.
Мощность это способность теста заметить эффект, который реально существует.
Представьте прожектор.
Мощный прожектор высветит кошку в конце двора. Со слабым прожектором вы решите, что кошки нет, хотя на самом деле просто мощности фонаря недостаточно.
Самое неприятное в слабых тестах, это то что вы начинаете системно выбрасывать работающие улучшения. Фича реально улучшала продукт, но из-за плохого теста этого не увидели.
Повторите цикл год, и вы искренне поверите, что ничего не работает. В зрелых продуктах типичный эффект фичи 0,5–1%, и для таких эффектов нужны очень большие выборки.
Принцип третий: подглядывание.
Запустили тест.
Каждое утро открываете дашборд. На третий день загорелось «статистически значимо, эффект положительный».
Останавливаете тест, пишете как результат "Успешный А/Б тест".
Вот тут и ошибка.
P-value (вероятность случайного срабатывания) не стоит на месте. Пока копятся данные, он гуляет вверх и вниз. Если проверять его каждый день и остановиться на первом подходящем значении, вы даете случайности много попыток пересечь порог.
Рано или поздно она пересечет. Словно подбрасывать монету до первого удобного результата и в этот момент остановиться.
Смотреть на промежуточные результаты можно. Принимать по ним решение нельзя. Поэтому дата окончания теста назначается до запуска.
Принцип четвертый: множественные сравнения.
Каждый тест при пороге в p value 0,05 может соврать. Примерно 1 раз из 20 он покажет победу, которой в реальности нет.
Вы можете вытащить фальшивый результат в 1 случае из 20. В целом терпимо.
А теперь запускаем двадцать тестов одновременно. У вас на руках двадцать билетов. Шанс, что хотя бы один соврет, вырастает до 64%. То есть вы почти гарантированно отпразднуете улучшение, которого нет.
То же самое внутри одного теста.
Проверяете 20 метрик сразу? Одна или две вырастут просто так, на удаче. Google однажды тестировал 41 оттенок синего цвета. При 41 варианте шанс поймать фальшивого победителя был 88%.
Чем больше всего проверяете за раз, тем больше случайных побед вам подкинет удача.
Есть целый музей реальных провалов по всем четырем принципам.
И помните:
Самые опасные ошибки часто исходят от тех, кто считает, что освоил A/B-тестирование».
Материалы
Evan Miller
2010
How Not To Run an A/B Test
Остановка теста при первой значимости превращает 5% ошибки в 26,1%. Лекарство: фиксировать размер выборки до старта.
Яндекс Go
июнь 2025
10 мифов об A/B-тестировании
При ежедневных проверках тест без эффекта покажет «значимость» в 63% случаев. В зрелых продуктах типичный эффект 0,5–1%, недомощные тесты — трата времени.
Хабр / OTUS
апр. 2025
Пять ошибок при A/B-тестировании
Для среднего эффекта нужно ~393 человека на группу, на 150 мощность падает ниже 40%. Двадцать параллельных тестов дают 64% шанс ложной победы.
GoPractice
2018, обновлена 2025
Как не надо анализировать A/B-тесты. Проблема подглядывания
Два подглядывания удваивают p-value, пять умножают на 3,2. Смотреть на промежуточные результаты можно, принимать по ним решение нельзя.
Aakash Gupta
авг. 2024
Become an A/B Testing Expert: Advanced Topics in Testing for PMs
Музей реальных провалов: «+20% конверсии» обернулись минус 5%, баг кэширования перекосил сплит 50/50 в 70/30. Пять ошибок, включая sample ratio mismatch.
Хабр
2019
Интуитивное объяснение проверки гипотез и p-значение
Вся интуиция выборок на яблоках: полбалла разницы на 2 яблоках ничто, на 100 очень много. Плюс шпаргалка, какой тест для какой гипотезы.
Поднимемся на системный уровень.
Зачем индустрия построила культ экспериментов?
Зачем все эти дашборды, тесты и заклинание «data-driven» в каждой презентации?
Причина в том что ваши идеи почти не работают. И мои. И вообще ничьи.
Microsoft: треть идей улучшает метрики. Треть не делает ничего. Треть делает хуже.
Google: до 96,1% идей не приносят результата.
Netflix: 90% предположений ошибочны.
Booking.com: девять из десяти идей неудачные.
Метаанализ 20 000 экспериментов: значимый рост целевой метрики у 10%.
Лучшие продуктовые компании мира, самые дорогие специалисты на планете и все равно промахиваются в 70–90% случаев. Единственное их отличие от остальных в том что они это честно померили. Остальные рисуют уверенные роадмапы на год.
Теперь экономика, пример из Airbnb. Протестировали 250 идей улучшения поиска и из них сработали 20. Эти 8% дали +6% к конверсии бронирований. А цена вопроса это сотни миллионов долларов. То есть 92% провалов окупились с лихвой.
Эксперименты работают как венчурный фонд: куча дешевых проверок покупает редкие большие выигрыши.
Показатель успеха эксперимента в 10% это норма. При одном условии: если learning rate равен 100%. Каждый провал обязан оставить знание, из которого вырастет следующая гипотеза. Единственный настоящий провал это провалиться и ничего не узнать.
Поэтому когда слышите в докладе или читаете в посте на Linkedin что у кого-то 50% сработавших гипотез, скорее всего они просто неправильно мерят.
И конечно же, до экспериментов вообще надо дорасти.
Порог входа: десятки тысяч юзеров.
Небольшому продукту остаются только качественные исследования, а не количественные.
Зачем индустрия построила культ экспериментов?
Зачем все эти дашборды, тесты и заклинание «data-driven» в каждой презентации?
Причина в том что ваши идеи почти не работают. И мои. И вообще ничьи.
Microsoft: треть идей улучшает метрики. Треть не делает ничего. Треть делает хуже.
Google: до 96,1% идей не приносят результата.
Netflix: 90% предположений ошибочны.
Booking.com: девять из десяти идей неудачные.
Метаанализ 20 000 экспериментов: значимый рост целевой метрики у 10%.
Лучшие продуктовые компании мира, самые дорогие специалисты на планете и все равно промахиваются в 70–90% случаев. Единственное их отличие от остальных в том что они это честно померили. Остальные рисуют уверенные роадмапы на год.
Теперь экономика, пример из Airbnb. Протестировали 250 идей улучшения поиска и из них сработали 20. Эти 8% дали +6% к конверсии бронирований. А цена вопроса это сотни миллионов долларов. То есть 92% провалов окупились с лихвой.
Эксперименты работают как венчурный фонд: куча дешевых проверок покупает редкие большие выигрыши.
Показатель успеха эксперимента в 10% это норма. При одном условии: если learning rate равен 100%. Каждый провал обязан оставить знание, из которого вырастет следующая гипотеза. Единственный настоящий провал это провалиться и ничего не узнать.
Поэтому когда слышите в докладе или читаете в посте на Linkedin что у кого-то 50% сработавших гипотез, скорее всего они просто неправильно мерят.
И конечно же, до экспериментов вообще надо дорасти.
Порог входа: десятки тысяч юзеров.
Небольшому продукту остаются только качественные исследования, а не количественные.
Материалы
O'Reilly Radar
2021
The Sobering Truth About the Impact of Your Business Ideas
Microsoft: треть/треть/треть; Google: до 96,1% идей без положительного эффекта; Netflix: 90% предположений ошибочны. Авторы: ex-Chief Algorithms Officer Stitch Fix и коллеги.
AB Tasty
2021
1,000 Experiments Club: A Conversation With Ronny Kohavi
В Airbnb из 250 идей улучшения поиска сработали 20 — и дали +6% к конверсии бронирований «стоимостью в сотни миллионов долларов».
Martin Goodson / Qubit
2014
Most Winning A/B Test Results are Illusory
Плохо проведённые тесты дают «победы», которые чаще ложны, чем истинны. Три причины: мощность, множественные сравнения, регрессия к среднему.
Oliver Palmer
2022
Most of your A/B tests will fail (and that's OK)
Метаанализ 20 000 экспериментов клиентов Optimizely: значимый рост только у 10%. Рамка на замену винрейту: learning rate 100%.
Text2SQL.ai
окт. 2025
Best SQL AI Tools in 2025: Complete Comparison Guide
Text-to-SQL стал зрелым рынком: вход от 5$ в месяц, инструменты сами валидируют SQL. Оговорка: грязные схемы всё ещё дают неверные запросы, проверка на человеке.
vc.ru / Продукторий
март 2026
Продакт-менеджмент 2025: главное из исследования ProductSense и X5
Больше 95% продактов используют AI, 72% экономят время, 77% не видят изменений в метриках продукта. Инструменты подешевели, влияние на цифры осталось дорогим.
Дашборд, который вы не откроете
Да, требования к аналитике и матаппарату оказались скромнее, чем принято думать.
Дроби, честные сравнения, четыре принципа экспериментов.
И тут возникает законный вопрос: если математика продакта такая простая, почему вокруг столько плохих продуктовых решений?
Потому что проблема не в сложности, а в избегании.
Треть продуктовых лидеров признаются, что решают в основном чутьем. Они данные просто не открывали.
Теперь умножьте один такой мозг на иерархию. Когда чутьем решает самый главный в комнате, у этого даже есть имя: HiPPO, highest paid person's opinion. Возразить цифрами некому, поэтому побеждает самое дорогое мнение за столом.
И вот тут, становится ясно что цифры в этой игре это оружие, которое защитит слабого.
Джун с честной воронкой получает шанс переубедить директора с мнением. Хотя бы шанс. Без воронки у него нет и этого.
Можно перестараться и с этим, и спрятаться от продукта в математику. Полировать сотые доли конверсии можно бесконечно, только большого эффекта там нет.
Наибольший эффект дают а правильные вопросы к дашбордам и источникам: что изменилось, почему, можно ли этому верить.
Если резюмировать.
Аналитика проще, чем вам кажется, страшной ее делает избегание, и оно же проблему усиливает.
Лечится это не курсом статистики, а привычкой: откройте свои текущие дашборды и ответьте на один вопрос «что изменилось и почему?».
И оставайтесь подозрительными: цифрам, которые выглядят слишком красиво, верить нельзя.
Дроби, честные сравнения, четыре принципа экспериментов.
И тут возникает законный вопрос: если математика продакта такая простая, почему вокруг столько плохих продуктовых решений?
Потому что проблема не в сложности, а в избегании.
Треть продуктовых лидеров признаются, что решают в основном чутьем. Они данные просто не открывали.
Теперь умножьте один такой мозг на иерархию. Когда чутьем решает самый главный в комнате, у этого даже есть имя: HiPPO, highest paid person's opinion. Возразить цифрами некому, поэтому побеждает самое дорогое мнение за столом.
И вот тут, становится ясно что цифры в этой игре это оружие, которое защитит слабого.
Джун с честной воронкой получает шанс переубедить директора с мнением. Хотя бы шанс. Без воронки у него нет и этого.
Можно перестараться и с этим, и спрятаться от продукта в математику. Полировать сотые доли конверсии можно бесконечно, только большого эффекта там нет.
Наибольший эффект дают а правильные вопросы к дашбордам и источникам: что изменилось, почему, можно ли этому верить.
Если резюмировать.
Аналитика проще, чем вам кажется, страшной ее делает избегание, и оно же проблему усиливает.
Лечится это не курсом статистики, а привычкой: откройте свои текущие дашборды и ответьте на один вопрос «что изменилось и почему?».
И оставайтесь подозрительными: цифрам, которые выглядят слишком красиво, верить нельзя.
Материалы
Brian de Haaff, Aha!
2017
Hey Product Manager: The Problem With «Trusting Your Gut»
Личный кейс, где чутьё CEO читало рост тикетов поддержки как провал. Данные показали обратное: вовлечённые клиенты пишут чаще и остаются дольше.
Dovetail
окт. 2024
How to manage the HiPPO effect in your product strategy
Без человека с цифрами решения достаются HiPPO. Контртактики: evidence-based роадмапы, RICE, тесты как аргументы. Бонусом зоопарк: ZEBRA, RHINO и WOLF.
Хабр / AGIMA, Epoch8
2022
Аналитические дашборды не помогают принимать решения
«Дашборд на 17 экранов графиков, который запутывает окончательно» — и решения всё равно принимаются интуитивно. Ни один дашборд не отвечает на вопрос «почему».
Хабр / OpenYard
июль 2026
От таможенника до продакта в серверном железе
Вся математика роли: маржа, оборачиваемость, порядок цен в голове. Цена решения без цифр: 2 000 закупленных платформ распродавались два года.
GoPractice
действующий инструмент
Бесплатный тест навыков в управлении продуктом
Определяет слепые зоны по аналитике, A/B-тестам, юнит-экономике и статистике, на выходе персональный план. Авторы: Олег Якубенков и Sean Ellis.
Strategic Move
май 2024
Продуктовая аналитика и метрики с Леной Серегиной
Расследование аномалий в метриках, корреляция и причинность, пирамида метрик, воронка AARRR. Гость: автор фреймворка «Пирамида метрик».
Mindbox
действующий инструмент
Калькулятор достоверности A/B-тестов
Размер выборки до теста и доверительные интервалы после, пояснения написаны для не-статистика. Формулы больше не ваша проблема.
Личный разбор
Личная карта развития в продакт-менеджменте
Двухчасовой личный звонок под вашу задачу: переход в профессию или рост внутри неё.
- Личная карта развития под вашу цель: что учить и в каком порядке
- Подборка ссылок на материалы под каждый шаг карты
- Консультация по карьере и ответы на ваши вопросы
Больше 30 человек уже прошли личные разборы, и почти все добились цели в течение трёх месяцев.
Написать в Telegram и выбрать времяОтвечаю лично, подберём удобный слот для звонка
Об авторе:
Еще материалы по теме продакт менеджмента: