# HADI-циклы — методика проверки гипотез и цена одного цикла в промышленности HADI — четыре шага: Hypothesis, Action, Data, Insights. Сформулировал гипотезу, сделал действие, собрал данные, сделал вывод, начал заново. Каноническая рекомендация — укладывать цикл в неделю. В промышленном B2B один такой цикл занимает квартал, а иногда год, и стоит миллионы рублей. Вопрос не в том, работает ли метод, а в том, что от него остаётся при такой цене шага. ## Что говорит мировая практика Сама аббревиатура HADI живёт почти исключительно в русскоязычном продуктовом обиходе: англоязычные разборы вроде [короткого гайда на Bootcamp](https://bootcamp.uxdesign.cc/hadi-cycles-the-shortest-guide-for-hypothesis-testing-d7c174948e19) вторичны и повторяют одно и то же определение — четыре стадии и требование укладываться в неделю ради скорости итераций. Родословная у метода при этом длинная и не имеет отношения ни к стартапам, ни к росту. Первоисточник — Уолтер Шухарт из Bell Labs. В 1930-е он занимался статистическим контролем качества на производстве и в 1939 году развернул линейную последовательность «спецификация — производство — инспекция» в замкнутый цикл, взяв за образец научный метод: гипотеза, эксперимент, результат, критика результата. Эдвардс Деминг привёз эту схему японским инженерам в 1950 году, и она разошлась по миру как PDCA — plan, do, check, act ([разбор термина в Lean Enterprise Institute](https://www.lean.org/lexicon-terms/pdca/)). То есть цикл проверки гипотез родился именно в промышленности, а не в цифровых продуктах, и вернулся туда спустя семьдесят лет уже под чужим именем. Второй источник — Эрик Рис с петлёй build-measure-learn. Его вклад не в самой петле, а в единице прогресса: [validated learning](https://theleanstartup.com/principles), подтверждённое обучение. Прогресс — это не выпущенная функция, а проверенное утверждение о клиенте. Отсюда же требование сокращать время оборота петли: чем быстрее оборот, тем больше проверенных утверждений на единицу денег. Механику формулировки гипотезы аккуратнее всех описал Thoughtworks в разборе [hypothesis-driven development](https://www.thoughtworks.com/insights/articles/how-implement-hypothesis-driven-development). Ключевое требование у них не про скорость: сигналы, по которым гипотеза будет признана подтверждённой, фиксируются до запуска эксперимента — иначе результат интерпретируется задним числом в пользу того, во что команда уже верит. Гипотеза без заранее объявленного критерия — это не гипотеза, а намерение. Дальше начинается арифметика, которая объясняет, зачем вообще нужна скорость. Ронни Кохави, много лет отвечавший за экспериментальную платформу Bing, в [докладе на KDD](https://exp-platform.com/Documents/2015-08OnlineControlledExperimentsKDDKeynoteNR.pdf) привёл распределение исходов: примерно треть идей улучшает целевую метрику статистически значимо, треть не даёт различий, треть ухудшает. В оптимизированных областях доля успешных ещё ниже. Ту же логику он вместе со Стефаном Томке изложил в [The Surprising Power of Online Experiments](https://hbr.org/2017/09/the-surprising-power-of-online-experiments). Вывод неприятный: продуктовая интуиция ошибается примерно в двух случаях из трёх, и единственный способ с этим жить — делать много дешёвых циклов. И здесь же граница метода. Томке вместе с Джимом Манци разобрал её в [The Discipline of Business Experimentation](https://hbr.org/2014/12/the-discipline-of-business-experimentation): в большинстве компаний тесты не удовлетворяют статистическим требованиям, и менеджеры принимают шум за причинно-следственную связь. Проблема не в методе, а в размере выборки. Для B2B это приговор классическому A/B: при нескольких сотнях визитов и единичных конверсиях значимость не набирается за разумный срок — CXL в [разборе альтернатив A/B-тестам](https://cxl.com/blog/ab-testing-alternatives/) прямо советует при малых объёмах менять инструмент, а не ждать значимости месяцами. Марти Каган добавляет к этому [разделение ролей](https://www.svpg.com/discovery-feedback/): количественные методы отвечают на вопрос «что происходит», качественные — «почему», и заменять вторые первыми нельзя ни при каком объёме данных. ## Что выдержало мою практику Недельный цикл в промышленном B2B не существует. Мой самый дорогой HADI-цикл длился год: канал платной рекламы для продукта быстровозводимых конструкций тестировался двенадцать месяцев, накопил 11 млн рублей затрат и был закрыт в пользу активных продаж — в том же квартале, когда закрылся первый контракт на конструкцию ([[Первая продажа и закрытие рекламного канала]]). Данные цикл дал однозначные, вывод оказался верным, цена вывода — 11 млн рублей и год времени. При такой стоимости шага скорость перестаёт быть рычагом: рычагом становится качество формулировки до запуска. Поэтому из мировой практики у меня выжило именно требование Thoughtworks, а не требование Риса. Тест канала лидогенерации на Avito я запускал не как «попробуем и посмотрим», а как техническое задание с зафиксированным бюджетом и перечнем гипотез, плюс отдельно скорректированное позиционирование квиза квалификации ([[Тест канала лидогенерации Avito]]). Критерий объявлен до денег — тогда через три месяца разговор идёт о цифре, а не о том, достаточно ли мы старались. Разница между этими двумя тестами каналов не в методе, а в том, что во втором случае гипотеза была записана раньше, чем оплачен первый счёт. Вторая замена, которую пришлось сделать, — данные вместо статистики. Когда вариантов развития семь, а рынок не даёт выборки для проверки ни одного из них экспериментом, я собираю независимую экспертную оценку: по направлению контрактного производства оснастки из семи гипотез роста отобрано шесть, приоритетным стало направление оснастки для электроники с оценкой 4,2 из 5 ([[Гипотезы развития и экспертная оценка]]). Это не эксперимент и не претендует на статистическую значимость. Это структурированное суждение нескольких экспертов вместо неструктурированного суждения одного — ровно та подмена инструмента при малых объёмах, о которой пишет CXL, и ровно то разделение количественного и качественного, о котором пишет Каган. Третье — буква A в аббревиатуре не обязана означать «изменение в продукте». Самое дешёвое действие в цикле — разговор. Гипотезу спроса на быстровозводимые конструкции я проверял интервью и анализом трёх конкурентов до того, как она ушла в отдел продаж как финальная ([[Валидация гипотезы быстровозводимых конструкций]]). Цикл «гипотеза — десять интервью — данные — вывод» укладывается в две недели и стоит времени одного человека. Цикл «гипотеза — рекламный канал — данные — вывод» стоил 11 млн. Распределение Кохави — треть идей работает — означает, что большинство гипотез умрёт; вопрос лишь в том, по какому прайсу вы покупаете каждое «нет». Что я советую тем, кто внедряет HADI в промышленной компании. Не пытайтесь выдержать недельный такт — вы либо начнёте тестировать только то, что тестируется за неделю (цвет кнопки вместо цены), либо начнёте называть циклом обычную текучку. Считайте не количество циклов, а стоимость одного «нет»: задача продуктовой работы — снижать эту стоимость, а не наращивать частоту. Фиксируйте критерий до расхода денег, письменно, с цифрой и датой. И держите в голове, что при десяти наблюдениях статистики нет — есть суждение, и честнее назвать его суждением, чем прикрывать процентами, которые ничего не значат. ## Мои кейсы по теме - [[Первая продажа и закрытие рекламного канала]] — годовой цикл проверки канала ценой 11 млн рублей и решение закрыть его в пользу активных продаж. - [[Тест канала лидогенерации Avito]] — гипотезы и бюджет теста зафиксированы в техническом задании до запуска, а не после результата. - [[Гипотезы развития и экспертная оценка]] — семь гипотез роста через независимую экспертную оценку вместо статистики, которой негде взяться. - [[Валидация гипотезы быстровозводимых конструкций]] — самый дешёвый вариант действия в цикле: интервью и конкурентный анализ до расхода бюджета. ## Связаться Если у вас похожая задача — обсудим ваш продукт: [[email protected]](mailto:[email protected]), Telegram [@falcolupus](https://t.me/falcolupus) или [MAX](https://max.ru/u/f9LHodD0cOJd5VFHyaG9k7YpP7BW9s55ZYkjWX6P8j51xBYS3XgDfnOxz3U). Работаю удалённо в любом часовом поясе.