[Из песочницы] Грань между карго-культом и эволюцией в обучении успеху
Предприниматели с большим энтузиазмом берут на вооружение инструменты верификации будущей прибыли. Идея A/B-тестирования упала в благодатную почву. Больше нет необходимости ломать голову над цветом кнопки, можно сразу же тестировать и выбирать лучшее.Напомню как это делается: вы создаете две страницы, разница которых будет заключаться только в цвете кнопки «оформления заказа». Затем вы, случайным образом, половине посетителей сайта показываете страницу №1, а другой половине — страницу №2. В результате, на одной из страниц, пользователи нажмут кнопку оформления заказа больше, чем тоже самое количество других пользователей на другой странице.
Следует ли из этого, что цвет кнопки влияет на количество оформленных заказов? Давайте проведём мысленный эксперимент. У нас будет две команды, по пять человек в каждой. Одна команда будет в красных футболках, другая — в синих. Каждый член команды будет подбрасывать монетку и записывать что выпало: орёл или решка. Пусть каждый подбросит монетку, скажем, три раза. После, посчитаем количество полученных «орлов» для каждой из команд.
Мы увидим, что одна из команд набрала больше «орлов» чем другая. Можно ли сделать вывод, что цвет футболки определил победителя? Следует ли нам одевать красную (синию) футболку, когда мы собираемся зарабатывать больше «орлов»? Мы с вами прекрасно знаем, что если бы наши команды подбрасывали бы монетку бесконечное количество раз, то результаты у команд были бы одинаковые. Мы это знаем, только благодаря пониманию модели, так как не нашлось бессмертного и вместе с тем большого любителя всё проверять на практике.
Вывод тут напрашивается сам собой, но давайте не спешить с заключениями. Представьте, что вы получили сообщение, в котором сказано, что группа ученых разработала великолепную технологию предсказания результатов футбольных матчей. И чтобы доказать её революционность, в сообщении вам называется исход матча, которые состоится завтра. Конечно, результат оказывается верным. Ещё через неделю, вы снова получаете сообщение от той же «группы ученых», которые, чтобы окончательно убедить вас приобрести их продукт, снова присылают вам верный исход следующего матча.
Если вы удивлены их проницательностью, то у неё есть простая основа. Первое сообщение с текстом «Бразилия победит Мексику» рассылается одной группе людей, а с текстом «Мексика победит Бразилию» второй группе людей. После того как результаты матча Мексика — Бразилия становятся известны, второе сообщение с очередным «предсказанием» отправляют только той группе, которой ранее случайно был дан правильный прогноз.
Может быть это хороший способ убеждения, но явно плохой способ прогнозирования. Нет ли чего-то подобного в том, как мы теперь пытаемся верифицировать успешность одной стратегии над другой? Действительно ли стоит искать взаимосвязь цвета кнопки с количеством оформленных заказов?
Мы можем сделать предположение: цвет кнопки может влиять на принятие решения о покупке. Если это предположение верное, то результаты A/B-тестирования справедливы, а если нет — то результаты теста бесполезны. На лицо асимметрия: мы существенно приобретаем, если мы правы, и ничего не теряем, если нет.
В условиях неопределённости, когда мы не можем быть уверены, связано ли событие A с исходом B, а наши затраты на тестирования несущественно малы по сравнению с возможной упущенной прибылью, мы, конечно же, будем правы, подвергая нашу систему тесту.
Можно ли тот же принцип перенести на обучение успеху? Что если мы будем скрупулёзно записывать все решения и события, которые принимают и переживают предприниматели, затем будем выявлять характерные паттерны, а затем применять их в аналогичных условиях?
Чтобы понять, будет ли эта идея работать, нужно сначала решить: могут ли действия, которые когда-либо предшествовали успеху, быть повторены в аналогичной ситуации и тоже привести к успешному исходу? Не та же ли эта механика, которая позволила «группе ученых» безошибочно угадывать исходы футбольных матчей?
Действия предпринимателей, которые принесли им успех — изменили рынок. В прямом смысле этого слова, если кто-то начал регулярно получать деньги, которых ранее не получал, значит кто-то начал их недополучать. Рынок благоволит одной бизнес-модели за счёт других (необязательно прямых конкурентов). Да, иногда такая нагрузка на рынок распределяется между множеством предприятий и ощутить бремя чужого успеха сложно, но оно есть.
Следовательно, подбирая ключ выгодных решений к замку распределению благ на рынке, в случае успеха, мы меняем замок для наших последователей. Но как тогда объяснить феномен успешности copycat, значит ли это, что каждый успешный местный аналог зарубежного сервиса выжил и принёс прибыль своему основателю лишь в силу случайного стечения обстоятельств?
Давайте мысленно вычленим из всех историй основания и развития компании минимальные паттерны принятия решений, представим их в виде цепочки генов, формирующих организм компаний в условиях изменчивой среды рынка. Выделив одинаковые «гены» успешных компаний и одинаковые «гены» разорившихся компаний, у нас будет соблазн сделать простой вывод о рецепте успеха и поражения. Но, если мы совершим поиск «успешных генов» среди компаний-неудачников, то обязательно там их обнаружим. Да, некоторые компании неудачники будут нести в себе гены «победителей». Поэтому простого воссоздания «успешных паттернов» для успеха недостаточно.
Если вычисляемость успешной последовательности действий невозможна и она решается только перебором доступных комбинаций, то как же объяснить успех скопированных бизнесов? Включить в расчёты провалившиеся copycat-проекты и признать результаты случайными?
Copycat-проекты, это использование уже найденного целого и цельного ключа решений, совместное с первооткрывателем эксплуатирование победной комбинации. Аналогично в природе мы видим группы, популяции, виды. Эволюция живых систем не придумала «успешного гена», который бы можно было вклеить в любой произвольный генотип и, тем самым, повысить успешность будущего организма.
Так может стоить применить тот же принцип, который я предлагал в случае с цветом кнопок? Может ли паттерн, встречающейся в успешных стартапах, однозначно обладать асимметрией выгоды-убытка? Можно ли сказать, что раз в аналогичной ситуации, кто-то успешный когда-то принял некое решение, то я, сделав тоже самое, либо получу выгоду, либо не понесу потерю?
Не вызывает сомнений предположение, что принятие решения может таить в себе как позитивные исходы, так и негативные. Решение, влияющие на дальнейшее благополучие проекта, нельзя подвергнуть A/B-тестированию, так как проект у нас всего один и его нельзя разделить на два, проверить на рынке и вернуться к прежнему состоянию. Значит ли это, что паттерны чужого опыта для нас бесполезны?
Отнюдь, просто нам нужно искать не философский камень, а его противоположность: нечто, превращающие золото в пыль. Т.е. негативные решения, сразу за которыми следовал провал. Так, на уровне принятия решений, основанных на общих паттернах провальных стартапов, мы будем делать статистически обоснованный выбор между гибелью и выживаемостью. И это адаптивная, выгодная стратегия.
