Wanchucha

Принципы написания эффективных историй от Pivotal Labs

2023-08-20T10:10:59.846Z

Источник: https://www.pivotaltracker.com/blog/principles-of-effective-story-writing-the-pivotal-labs-way

Разные команды в разных проектах и компаниях используют разные стили написания историй. В конечном счете, именно вы и команда должны определить, что будет наиболее эффективным с учетом целей и контекста проекта. Однако основные принципы, которыми мы руководствуемся при написании историй в Pivotal Labs, могут быть использованы независимо от стиля или различий в процессе или синтаксисе. Несмотря на то, что различные взгляды на "лучший способ" написания историй могут затруднить определение наиболее эффективного подхода, существует несколько основных принципов, которыми мы руководствуемся при написании историй. В этой статье мы рассмотрим три наиболее распространенных типа историй, которые можно создавать в Pivotal Tracker, а также основные принципы, на которых строится процесс написания историй.

Написание рассказов: основные принципы

Прежде всего, истории - это место для дальнейших разговоров и контекста уже состоявшихся бесед. Мы пишем истории, чтобы решить какую-либо задачу, ошибку или проблему, а затем обсуждаем эти истории - как правило, с командой инженеров, - чтобы выявить все недостатки и проблемы, связанные с реализацией данной истории. В связи с этим истории не обязательно должны включать в себя все мельчайшие детали, они должны служить напоминанием о том, что обсуждалось, и включать в себя все на высоком уровне.

Важно также помнить, что в историях должно быть указано, что, а не как (например, "Улучшить отклик поиска на 15 секунд" по сравнению с "Не выполнять индексацию всей таблицы при каждом обновлении базы данных"). Истории не должны быть технически предписывающими, т.е. в них не нужно указывать, как именно ваша инженерная команда может реализовать рассматриваемую функциональность. Истории поясняют, зачем нужна функциональность и в чем конкретно она заключается.

Все истории должны следовать модели INVEST

I - Независимые - Истории должны быть самодостаточными

N - Переговорные - Истории не являются явными контрактами и должны оставлять пространство для обсуждения

V - Ценностные - Истории должны приносить пользу заинтересованным сторонам

E - Измеримые - Команда разработки всегда должны иметь возможность оценить размер истории

S - Маленькие - Истории не должны быть настолько большими, чтобы их невозможно было планировать выделять приоритеты с определенной степенью точности

T - Тестируемые - Истории или связанное с ним описание должны предоставлять необходимую информацию, чтобы сделать возможной разработку тестов

Различные типы историй

Фича стори/Юзер стори

Фича стори предназначены для объяснения того, кто, что и почему может быть добавлено к продукту в виде минимальной дополнительной функции, приносящей пользу пользователю. Фича стори направляются команде разработчиков и оцениваются по сложности, а не по времени, которое потребуется для релиза. Они пишутся с точки зрения пользователя и служат облегченной документацией по требованиям для команды разработчиков. Следуя модели INVEST, они должны быть независимыми и создавать явную ценность для пользователя. Например, каждая кнопка должна быть добавлена в сочетании с функцией, а не с историей, которая создает ряд кнопок, не связанных с функциями. Несмотря на то что термины "фича стори" и "юзер стори" часто используются как взаимозаменяемые, для большей ясности и в соответствии с принятыми в Tracker соглашениями о наименованиях мы будем называть этот тип историй только "Фича стори".

Фича стори должны включать в себя несколько элементов:

Заголовок: заголовок должен быть кратким, описательным и включать конкретного пользователя/персону. Например, в качестве пользователя/персоны следует указывать либо конкретный тип пользователя (например, редактор), либо имя персоны (например, Джилл), а не просто "пользователь". Это также работает для пользователей, которые являются не людьми, а системами (например, "Purchasing API").
Бизнес-кейс: кому, зачем и с какой целью нужна данная функциональность? Это необходимо для того, чтобы все члены команды понимали, зачем добавляется данная функция. Если вы не можете придумать причину, то стоит пересмотреть вопрос о целесообразности включения функции. Бизнес-обоснование также позволяет другим членам команды задуматься о том, есть ли лучший пользовательский опыт, чем тот, который предоставляется.
Критерии приемки: Здесь определяются действия, которые необходимо выполнить, чтобы убедиться в том, что история завершена. Разработчики, работающие над этой историей, также должны пройтись по критериям приемки перед сдачей. В Pivotal наш начальный шаблон критериев приемки написан на языке Gherkin. Язык Gherkin был изначально создан для Cucumber, пакета тестирования Ruby, и предназначен для "обеспечения жестких, однозначных требований... и сценария для автоматизированного тестирования". Следует помнить, что хорошие функциональные описания не должны, однако, быть предписывающими в деталях реализации. Синтаксис выглядит следующим образом:
GIVEN [необходимый контекст] WHEN [действие] THEN [реакция].
Иногда для определения GIVEN полезно пройтись в обратном направлении (примеры будут приведены ниже). Если в критериях приемки вы обнаружите, что пишете несколько "и", то это тест на запах, указывающий на то, что вам следует разделить историю на две или более частей.
Примечания: Включите дополнительную информацию, необходимую для истории, например, примечания дизайнера (которые могут указывать на изменения в имитаторах) или примечания разработчика (которые могут дать понимание, которое поможет разработчикам реализовать историю).
Ресурсы: Добавьте макеты, эскизы, пользовательские потоки, ссылки и другие ресурсы, которые помогут в работе над материалом.
Метки: Сюда относятся эпики (большие всеобъемлющие функции), номера сборок, пользователи и т.д. Они наиболее эффективно используются для объединения историй в группы.

Баги

Ошибка - это дефект уже принятой функции, независимо от того, когда она была принята. Не следует использовать ошибки для описания новых возможностей и функциональности (например, "Цена должна быть неотрицательной" или "Не работает кнопка входа в систему"). Ошибки напрямую связаны с уже реализованными функциями и не несут никакой новой ценности для пользователя, поэтому они не имеют баллов. Другая причина отсутствия баллов заключается в том, что ошибки невозможно оценить, и их устранение может занять как 30 секунд, так и 30 дней.

Ошибки должны содержать эту информацию:

Название: оно должно быть коротким и описательным.

Описание: что происходит в данный момент? Что должно произойти?

Инструкции: изложите шаги по воспроизведению.

Ресурсы: включите скриншоты и другие материалы, которые помогут объяснить/показать ошибку.

Задания

Задания - это история, которая необходима, но не приносит прямой и очевидной пользы пользователю (например, "Установить новый домен и сертификат SSL с подстановочным знаком для создания тестовых сред" или "Оценить инструменты для устранения неполадок в системе"). Задания могут представлять собой технический долг и/или точки зависимости от других команд. Задания не оцениваются (т.е. не указываются), поскольку они не приносят непосредственной пользы пользователю. Это означает, что если кажется, что задания приносит пользу пользователю, то она должна быть включена в функциональную статью. Например, если вы используете аналитический сервис, то дополнительная сложность настройки сервиса должна быть учтена в первом аналитическом материале, а не выделена в отдельную задачу.

Должны содержать следующую информацию:

Название: Должно быть коротким и описательным.

Описание: Зачем это нужно? Поможет ли это команде работать быстрее или это зависимость, которая может вызвать проблемы в кодовой базе, если ее не выполнить?

Ресурсы: Включает инструкции, дополнительный контекст или другие ресурсы, которые помогают выполнить задачу.

Будущее SEO в мире после ChatGPT

2023-05-31T19:31:19.521Z

Источник

SEO - это двигатель роста многих компаний, поэтому стоит обратить особое внимание на любые новые технологии, которые могут изменить правила поиска.

Хотя SEO не умирает, оно претерпевает существенные изменения, ускоряемые генеративным искусственным интеллектом, и стоит рискнуть сделать несколько обоснованных предположений о том, как оно может выглядеть с другой стороны.

1. Массовое увеличение конкуренции во всех результатах поиска

Генеративный ИИ резко увеличит количество SEO-контента, публикуемого каждый день.

Трудно утверждать обратное. Время и навыки, необходимые для исследования и написания оптимизированной для поиска статьи, упали почти до нуля: пара предложений направления, горстка скопированных примеров и несколько кликов в freemium SaaS-продукте. Это, вероятно, окажет большое влияние на конкурентоспособность большинства SERP (страниц результатов поисковых систем).

Частота публикаций и длина контента имеют тенденцию к росту

Частота публикаций - мощный рычаг роста, но на протяжении большей части истории SEO узким местом был механический процесс написания статей. Теперь это узкое место практически исчезло, и публикация двадцати статей в месяц - или сорока, или тысячи - стала гораздо более доступной.

С помощью ChatGPT написать статью в 5 000 слов практически так же просто, как и в 500 слов, поэтому можно ожидать, что средняя длина публикуемых материалов продолжит тенденцию к росту. Мы увидим, как все больше компаний создают больше поискового контента, нацеленного на то же количество ключевых слов. Большая часть этого контента будет томиться на нулевом уровне просмотров страниц - но не все.

https://www.orbitmedia.com/blog/blogging-statistics/

Компании будут менее разборчивы в выборе ключевых слов, на которые они ориентируются

Когда написание статьи стоит много времени и сил, имеет смысл быть разборчивым в выборе статей, концентрируя свою энергию на ключевых словах с самым высоким трафиком, самой низкой конкуренцией или наиболее релевантных для продукта.

Но генеративный ИИ снимает это ограничение и создает стимул публиковать сначала, а думать потом. Компании станут менее разборчивыми и с большей готовностью возьмутся за любое ключевое слово, имеющее хоть какое-то отношение к их продукту. Как мы уже писали ранее:

"Зачем беспокоиться о стратегии, если можно создавать сотни постов в блоге одновременно? Зачем заниматься расстановкой приоритетов, если можно нацелиться на каждое ключевое слово? Зачем заниматься анализом конкурентов, если вы можете просто скопировать своих конкурентов за долю времени?".
- Поисковая сингулярность: как победить в эпоху бесконечного контента

Программное SEO становится обычным явлением

Некоторые компании будут использовать ИИ в качестве второго творческого пилота. Другие доверят ему первые черновики, оставив рецензирование и редактирование за человеком. Другие будут использовать искусственный интеллект в качестве инструмента для изучения контента, публикуя сотни не очень хороших статей и улучшая те, которые показывают наилучшие результаты.

Но влияние этих сценариев использования будет затмевать влияние программного SEO.

Для издателей во всем мире всегда существовал компромисс между объемом контента и его качеством: публикация тысячи статей в месяц обычно требует огромного компромисса в отношении релевантности и уникальности контента. С GPT-4 это ограничение может перестать существовать. Добавьте к этому возможность GPT-4 писать и устранять неполадки в скриптах Python для веб-скрейпинга, и станет ясно, что барьеры для входа в программное SEO практически равны нулю.

2. Google отдает приоритет внестраничным факторам ранжирования

Большая часть контента, опубликованного с помощью ИИ, будет представлять собой своего рода подражательный контент: повторение тех же основных идей, которые содержатся в существующем контенте на заданную тему.

Генеративный ИИ усугубляет устоявшуюся проблему: маркетологи создают контент на основе одних и тех же инструментов и одних и тех же исходных материалов. GPT-4 обучается на огромном корпусе материалов, но для многих тем (например, "лучшие советы по внедрению CRM") генеративный ИИ будет опираться на те же самые надоевшие статьи о небоскребах, что и все остальные. Проблема усугубляется неспособностью генеративного ИИ создавать новую информацию: он не может собирать новые данные, иметь личный опыт или проводить достоверный отраслевой анализ.

Это приведет к огромному увеличению количества статей, которые практически неотличимы друг от друга. Это плохо для пользователей, поскольку усложняет поиск новой информации, и плохо для Google, поскольку сокращает путь пользователя. У Google появится стимул найти лучшие способы различать одинаковый контент.

На практике это может означать:

Внестраничные факторы ранжирования становятся более важными

При наличии подражательного контента - когда слова на странице конкурирующих статей в основном одинаковы - Google может придать большее значение внестраничным факторам ранжирования, таким как обратные ссылки, в качестве средства различения схожего контента. Крупным, узнаваемым брендам с устоявшимися "рвами" обратных ссылок будет еще труднее противостоять.

Как рассказал на LinkedIn Ристо Рехемяги, соучредитель компании ContentGecko, пользовательские сигналы также могут повысить свою значимость:

"По мере расширения Интернета поддерживать этот индекс и данные о взаимосвязях становится все более затратным. Расчет авторитетности, скорее всего, сместится с доменов на реальных авторов (социальные медиа от этого только выиграют). Поэтому я лучше сделаю ставку на пользовательские сигналы - довольны ли пользователи этим результатом?".

Подчеркнутое авторство контента

Авторство контента может также стать более важным, поскольку Google уделяет больше внимания автору контента и меньше - самому контенту. Мы уже видим первые признаки этих изменений в недавно обновленных рекомендациях Google по оценке качества:

"Теперь, чтобы лучше оценить наши результаты, E-A-T набирает букву E: опыт. Демонстрирует ли контент, что он был создан с определенным опытом, например, при фактическом использовании продукта, посещении какого-либо места или передаче того, что испытал человек? Бывают ситуации, когда вы больше всего цените контент, созданный кем-то, кто имеет непосредственный жизненный опыт по данной теме".

Мы увидим больше ситуаций, когда "получить правильный ответ от неправильного человека недостаточно хорошо" - Google будет различать похожие статьи, основываясь на компетентности авторов, которые их написали. Возможно, мы даже увидим возвращение популярности издателей - доверенных организаций, которые могут поручиться за подлинность контента.

Приоритет информационной выгоды

Один из патентов Google уже предлагает умозрительное решение проблемы копирования контента: баллы за информационный выигрыш, вознаграждающие статьи за привнесение новой информации в обсуждение и наказывающие те, которые этого не делают.

Эта возможность рисует оптимистичную картину: вместо нынешней системы, которая вознаграждает компании за "небоскреб" в существующих результатах поиска, бренды могут быть вознаграждены за проведение исследований и отклонение от статус-кво данного SERP. На практике это может повлечь за собой:

Создание контента, который дополняет и развивает существующие статьи, предлагая практический следующий шаг, развивая ключевые идеи или предлагая большую глубину и детализацию
Экспериментируйте с рискованными образами и углами зрения, обращаясь к неосознанным намерениям, восполняя недостающую информацию, оспаривая различные мнения или корректируя понимание Google.
включение оригинальных исследований в контент с помощью личных мнений, опросов клиентов или добавления цитат экспертов в данной области для создания информационного рва

3. Значительное снижение отдачи от поиска

За последнее десятилетие SEO и контент-маркетинг преодолели пропасть и стали де-факто маркетинговыми каналами практически для всех компаний, стремящихся к росту. Этот рост привел к постепенному, но очень заметному снижению отдачи. Чем популярнее тактика, тем выше конкуренция, и тем сложнее становится добиться выдающихся результатов в течение какого-либо периода времени. Исходя из нашего опыта работы с сотнями SaaS-компаний, сегодня SEO сложнее, чем вчера.

Возможно, что генеративный ИИ и ChatGPT представляют собой переломный момент, который еще больше изменит уравнение ценности SEO, сделав получение высоких результатов значительно сложнее.

Больше поисковых запросов с нулевым кликом

Bard от Google и Chat от Bing демонстрируют возможное будущее поисковых систем в мире после ChatGPT. Пользователи могут взаимодействовать с поисковой системой посредством плавного, естественного разговора; модель ИИ может просматривать существующие результаты поиска в поисках конкретной информации, а затем - что очень важно - синтезировать все это в совершенно новый разговорный текстовый ответ, отвечающий на вопрос прямо в результатах поиска.

Это замечательно для поисковиков и ужасно для издателей: вместо того чтобы направлять поисковиков на ваш сайт, вознаграждая вас за инвестиции в создание контента, поисковые системы могли бы использовать ваши труды для ответа на запросы прямо в результатах поиска.

Цитирование (как на картинке ниже) представляет собой одно из возможных решений, но вопрос остается открытым: зачем индексировать ваш контент, если поисковая система никогда не направит трафик на ваш сайт?

https://searchengineland.com/google-explains-why-bard-rarely-lists-citations-and-links-to-content-creators-394635

Большая фрагментация поиска

Всплеск интереса к Bing (поисковая система создала список ожидания из более чем 1 миллиона человек после объявления о поиске с использованием искусственного интеллекта) - это небольшой пример того, как LLM могут повлиять на экосистему поиска. Существует также вероятность того, что LLM создадут более широкую фрагментацию поиска, породив множество нишевых движков, обученных на конкретных наборах данных.

Современная поисковая парадигма, представленная Google, на самом деле довольно плоха. Мы привыкли пользоваться тупым инструментом: с ним сложно взаимодействовать, он направляет трафик неравномерно на крошечный процент мирового контента, он подвержен игромании, и, что самое важное, он изобилует ошибочными и недостоверными данными.

LLM делают возможной интересную альтернативу, что демонстрирует бот Huberman Дэна Шиппера:

выберите нишевую тему ("здоровье и благополучие"),
найти надежный набор данных (подкаст лаборатории Губермана),
и с помощью запросов, основанных на LLM, создайте свою собственную альтернативную поисковую систему.

Даже если эти нишевые поисковые системы не начнут активно развиваться, каждая из них представляет собой ослабление монополии Google на поиск. Поиск сегодняшнего дня вряд ли будет похож на поиск завтрашнего дня.

Важно, что все эти тенденции существуют уже сегодня. Генеративный ИИ, скорее всего, ускорит "созревание" поиска: усиление конкуренции, проникающей во все ниши, кроме самых маленьких, уменьшение количества неоспоримых ключевых слов и дальнейшее переопределение поиска в пользу крупных, известных брендов. SEO потребует больше усилий для получения меньшей отдачи.

Так что же мне делать?

Эти идеи находятся в сфере спекуляций, основанных на мышлении второго порядка (и вы должны относиться с большим скептицизмом к любому, кто утверждает, что он уверен). Мы используем SEO для себя и своих клиентов; оно приносит отличные результаты, и все еще есть возможность добиться невероятных результатов. Просто это требует немного больше размышлений и лучшего исполнения, чем раньше.

Если вы чувствуете в себе силы, у компаний, готовых оседлать волну ИИ, есть масса возможностей. Пока еще рано: на ранних этапах внедрения можно найти выгоду, и многие компании построят огромные империи трафика на базе этой технологии. В долгосрочной перспективе, возможно, стоит подстраховаться несколькими способами:

Наращивайте силу команды в областях, выходящих за рамки простого "писательства". Написание контента - это лишь малая часть всего набора навыков отличного контент-маркетолога. Создавайте команду, обладающую навыками в более важных областях: анализ данных, распространение контента, исследование отрасли, техническое SEO и редактирование. Нанимайте маркетологов широкого профиля, готовых к экспериментам.
Разработайте свой собственный стиль "получения информации". Привносите оригинальную информацию в контент таким образом, чтобы это соответствовало сильным сторонам вашей команды: создайте сеть малых и средних специалистов, начните ежегодный отчет об эталонных показателях или научитесь делиться личным опытом и знаниями вашей команды.
Диверсифицируйте не только поиск. Представьте себе худший сценарий, когда трафик от SEO исчезнет: как вы будете строить свой бизнес? Для многих компаний ответ кроется в маркетинге социального контента, сообществ и СМИ, поэтому стоит начать исследовательскую работу.

Пока что эксперименты - это порядок дня: играйте с генеративным ИИ, исследуйте странные и удивительные случаи его использования и самостоятельно выявляйте его сильные и слабые стороны.

Источник

Почему удержание - это тихий убийца

2023-04-29T10:41:11.333Z

Источник

В конце 2013 года Пол Грэм опубликовал в Твиттере график роста неназванного стартапа, показав, что это самый быстрорастущий стартап, который YC финансировал на сегодняшний день. Таинственная компания, на которую он ссылался, как позже выяснилось, была Homejoy. Вскоре после этого твита Homejoy привлекла грант в размере 38 миллионов долларов. Отличная новость, верно?

Не так быстро... компания закрылась всего через 18 месяцев.

Эта история не уникальна. Она повторяется снова и снова.

В 2011 году Fab.com пережил сумасшедший рост, достигнув 500 000 пользователей за 10 недель, что помогло ему привлечь 150 миллионов долларов при оценке в 1 миллиард долларов. Восемнадцать месяцев спустя, после привлечения в общей сложности 336 миллионов долларов, компания была приобретена на распродаже всего за 15 миллионов долларов.

Нужен третий пример? Хорошо...

BranchOut, еще один герой театра стартапов, за два месяца весной 2012 года вырос с 1 миллиона активных пользователей до 5,5 миллиона активных пользователей. Они привлекли финансирование в размере 50 миллионов долларов, из которых 25 миллионов долларов поступили в апреле 2012 года на хвосте этого сумасшедшего роста пользователей. И снова, 18 месяцев спустя, компания была продана за "копейки" - на этот раз за 5,4 миллиона долларов.

Эти три истории стартапов получили широкую известность благодаря огромному объему привлеченных компаниями средств и сжатому временному промежутку, в течение которого они перешли от стремительного роста к внезапной смерти. Но это лишь маленькая выборка - существует бесчисленное множество других стартапов, о которых мы никогда не слышали, и которые погибли по той же фундаментальной причине.

Что же это за фундаментальная причина? Каждая компания была основана и развивалась талантливой командой и финансировалась выдающимися инвесторами технологического сектора - эта причина не подходит. Так как же такое могло произойти? Вы уже, наверное, догадались, что я собираюсь сказать.

Удержание - оно не только делает компании хорошо, но и разрушает их. По этой причине плохое удержание пользователей стало тихим убийцей. В этой статье я расскажу вам о трех основных способах, с помощью которых компании ошибаются, когда дело доходит до удержания пользователей:

Они вообще не уделяют должного внимания удержанию пользователей
Они неправильно определяют показатели удержания
Они не измеряют вовлеченность

Как удержание персонала в конечном итоге становится неприоритетным

Удержание скрытно и может вводить в заблуждение в краткосрочной перспективе, потому что требуется время, часто годы, чтобы увидеть его влияние на рост вашей компании. Чтобы действительно понять, как оно влияет на здоровье вашего продукта, вам необходимо взглянуть на ситуацию в долгосрочной перспективе - по крайней мере, на один год, а лучше на несколько лет.

Но взглянуть на рост в долгосрочной перспективе может быть непросто. Большинство компаний и команд работают с краткосрочными целями (квартальными, месячными или даже недельными). В результате организации и команды склонны не уделять приоритетного внимания инициативам по удержанию, поскольку удержание изначально не представляется как острая проблема или эффективная возможность, которой оно на самом деле является.

Для изучения долгосрочной перспективы необходимо построить базовую перспективную количественную модель роста. Давайте рассмотрим пример сравнения двух конкурентов - компании А и компании Б.

Что вам нужно знать:

Компания А привлекает 1 миллион новых пользователей в месяц.
Компания B привлекает 2 миллиона новых пользователей в месяц (разница в 2 раза!).

Услышав эти цифры, легко предположить, что компания Б будет более ценной, чем компания А. Но как насчет удержания?

Что еще вам нужно знать:

Компания А имеет ежемесячный коэффициент удержания 85%.
У компании Б ежемесячный коэффициент удержания составляет 65%.

Разница в -20% не кажется такой уж плохой, верно? Учитывая, что у компании Б в 2 раза больше новых пользователей в месяц, на первый взгляд кажется, что компания Б все равно выиграет.

Давайте проверим это, посмотрев, что произойдет со временем. Через 6 месяцев у компании А было примерно 4,2 млн. пользователей MAU. У компании B примерно 5,3M MAUs, что более чем на 1M больше, чем у компании A.

Я же говорил, что компания Б победит.

Давайте продолжим, чтобы убедиться в этом. Что мы обнаружим после экстраполяции на 3 года? Компания А имеет приблизительно 6,6 млн. MAUs, а компания Б - приблизительно 5,7 млн. MAUs - компания А теперь имеет почти на 1 млн. MAUs больше, чем компания Б, несмотря на приобретение вдвое меньшего числа новых пользователей в месяц!

Ситуация изменилась - компания А побеждает, причем с большим отрывом.

Из этого примера видно, как более высокий уровень удержания влияет на рост в долгосрочной перспективе, просто за счет сокращения числа пользователей, потерянных со временем. Но существует множество преимуществ роста, связанных с более высоким уровнем удержания, которые не отражены в этом примере и которые сделали бы разницу еще более значительной в реальном сценарии.

Рост удержания:

Увеличивает привлечение новых пользователей
Улучшает монетизацию
Улучшает CAC, чтобы вы могли вытеснить конкурентов из каналов и освоить новые каналы.
Ускоряет период окупаемости, что позволяет быстрее реинвестировать в привлечение новых пользователей.

Даже без учета этих дополнительных преимуществ высокого удержания компания с более высоким удержанием выигрывает. Фактический результат, включающий эти дополнительные преимущества, скорее всего, будет таков: компания А сокрушит компанию Б, даже если у компании Б в 2 раза больше привлеченных пользователей и лишь немного меньше процент удержания.

Риск неправильного определения удержания

Помимо игнорирования удержания, еще одной распространенной ошибкой, которую я вижу у компаний, является неправильное определение показателей удержания. Неправильное определение, которое приводит к неточному измерению удержания, может погубить ваш продукт. Давайте рассмотрим несколько примеров, чтобы проиллюстрировать этот момент.

Выбор неправильной единицы измерения

Важнейшая часть точного измерения удержания заключается в выборе правильной единицы измерения, которая позволит вам получить наилучшие данные об удержании вашего продукта. Выбирая ключевую метрику удержания, спросите себя: что это за метрика? Доходы? Транзакции? Что-то еще? Ответ на этот вопрос - одно из самых важных решений, которое вы примете, когда дело дойдет до удержания, и неправильный ответ может привести к тяжелым последствиям.

Из всех различных типов компаний, которые я консультирую, я чаще всего вижу, как SaaS-компании ошибаются в этом вопросе. Когда я спрашиваю кого-то из SaaS-компаний или других компаний, работающих по модели подписки, об удержании, я почти всегда получаю ответ про ежемесячные или ежегодные платежи.

Для меня это тревожный сигнал. Меня гораздо больше интересует, как удержание отражается в широте и глубине использования продукта... Почему, спросите вы?

Доходы - это результат вовлеченных пользователей. Если смотреть только на доходы как на косвенный показатель удержания использования, то возникают две большие проблемы:

Выручка может скрыть то, что происходит под капотом с использованием продукта, и оградить вас от сигналов о здоровье вашего продукта в долгосрочной перспективе. Вы можете получать доход в течение месяца или года от платного подписчика, но если этот человек не пользуется продуктом, то по истечении месяца или года он уйдет.
Если вы пытаетесь повысить уровень удержания подписчиков, но отслеживаете только доходы, игра закончена еще до того, как вы успели сыграть. Если платящий подписчик отторгается, вернуть его практически невозможно. Если вы хотите повысить уровень удержания, вам нужно сначала посмотреть на уровень удержания использования.

Выбор неправильной частоты

Вторая часть точного измерения удержания заключается в выборе правильной частоты вовлечения в продукт. Рассматривая правильную частоту для метрики удержания вашего продукта, спросите себя: "Должен ли пользователь моего продукта участвовать ежедневно, еженедельно или ежемесячно, чтобы считаться активным (или, возможно, дольше для некоторых продуктов)?". Неправильное измерение удержания может обмануть вас, заставив думать, что ваш продукт имеет хорошее удержание, в то время как на самом деле это не так.

В качестве примера рассмотрим социальный продукт. На графике ниже синяя линия показывает рост ежемесячных активных пользователей для этого продукта.

Все выглядит потрясающе, верно?

Проблема с этим графиком роста заключается в том, что большинству социальных продуктов B2C для удержания пользователей необходимо выработать привычку работать с пользователями ежедневно, а не еженедельно или ежемесячно.

Теперь давайте сравним наш график MAU в виде хоккейной клюшки с графиком роста ежедневных активных пользователей за тот же период времени и посмотрим, что мы узнаем.

О-о-о. Этот график выглядит не так многообещающе. Но 35M MAU и 5M DAU - это все еще неплохо, верно?

Это так, но когда мы узнаем всю историю этого продукта, мы поймем, что он предвещает не очень приятные события. Продуктом, о котором пойдет речь ниже, был Viddy, социальное видеоприложение, известное тем, что в рекордные сроки воспроизводило страшный график акульего плавника.

На примере Viddy мы узнали, что компании могут манипулировать своими показателями удержания пользователей и показателями, чтобы они выглядели хорошо, просто увеличив частоту. Когда те же самые данные пользователей рассматриваются с реалистичной частотой, они на самом деле рассказывают историю о надвигающейся гибели. Хотя эти компании могут обмануть себя и своих инвесторов на короткое время с помощью такого рода манипуляций с показателями, "цыплята" удержания неизменно возвращаются домой, превращая плохую ситуацию, которую можно было бы спасти, в фатальную.

Выбор неправильного основного действия

Выбор метрики удержания предполагает определение основного действия, которое пользователь совершает в вашем продукте. Другими словами, что квалифицирует пользователя как активного? В своем посте "Не становитесь жертвой одной ключевой метрики" Кейси Уинтерс, бывший Growth @ Pinterest и один из создателей серии Reforge "Удержание и вовлечение", рассказывает историю о том, как неправильно определить основное действие.

"Это привело к созданию WARC - еженедельного активного репинера или кликера. Репин - это сохранение контента, уже размещенного на Pinterest. Клик - это переход по ссылке на источник контента из Pinterest. И то, и другое указывает на то, что Pinterest показал вам что-то интересное. Еженедельное событие сделало невозможной оптимизацию под маргинальную активность.

Здесь есть две проблемы. Первая - это сочетание двух действий: репина и клика. Это создает то, что наш руководитель отдела продуктов называет ложной строгостью. Вы можете провести эксперимент, повышающий WARC, который может фактически заменить репины на клики или наоборот, и даже не заметить этого, потому что комбинированная метрика увеличилась. Доведите это до крайности, и алгоритм оптимизирует картинки-кликбейты вместо действительно интересного контента, а метрики показывают, что вовлеченность растет. Возможно, так оно и есть, но это пустая калорийная форма, которая в долгосрочной перспективе скажется на вовлеченности весьма негативным образом.

Вторая проблема заключается в том, что при этом полностью игнорируется сторона предложения в сети. Ни одна команда не хочет тратить время на увеличение уникального контента или более частое появление нового контента, когда есть проверенный и верный контент, который, как мы знаем, привлекает клики и повторы. Это приведет к переработке контента и появлению несвежего контента для сервиса, который стремится предлагать новые идеи. Очевидно, что Pinterest больше не использует WARC...".

История Кейси подчеркивает, что выбор неправильного основного действия может привести к множеству проблем. В итоге вы можете проигнорировать важную часть пользовательской базы, думая, что оптимизируете правильное поведение, а на самом деле вы скрываете проблемы, прячущиеся под поверхностью.

Последствия неправильного определения метрики удержания

Подводя итог, можно выделить две основные проблемы, возникающие при неправильном определении метрики удержания:

1. Вы скрываете большие проблемы в своем продукте и обманываете себя. К тому времени, когда проблемы проявятся в отслеживаемых вами метриках, исправлять их, скорее всего, будет уже поздно.

2. Вы стимулируете свою команду к решению неправильных проблем, потому что они сосредотачиваются на оптимизации неправильных показателей. Если вы выбрали ежемесячную частоту для метрики удержания, в то время как она должна быть ежедневной, ваша команда будет создавать функции, уведомления и решения для поощрения ежемесячного взаимодействия с вашими пользователями.

Остерегайтесь... 1 + 2 = тихая смерть.

У вас может быть широта охвата, но нет глубины

Возможно, вы идеально определили свою метрику удержания, приняли долгосрочную перспективу и потратили время и ресурсы на улучшение удержания. Благодаря этому ваши кривые удержания выровнялись, а не сошли на нет. Но, несмотря на все это, у вас все еще могут быть проблемы, если ваш продукт имеет широту охвата, но не имеет глубины.

Удержание измеряет широту охвата - процент пользователей, которые все еще активны в данный период времени. Но оно не отвечает на критический вопрос - насколько они активны в течение этого периода времени? Именно показатель вовлеченности вашего продукта даст ответ на этот вопрос.

Шон Клоус, бывший руководитель отдела роста в Atlassian и один из создателей серии Reforge "Удержание и вовлечение", объясняет:

"Проблема с удержанием как общей метрикой заключается в том, что она бинарна - ваши пользователи либо удерживаются, либо нет. В то время как глубина вовлеченности пользователей является самым сильным показателем долгосрочной ценности как для пользователя, так и для компании, потому что глубоко вовлеченные пользователи не просто остаются, они остаются навсегда.

На примере JIRA мы можем показать, что более вовлеченные пользователи остаются, а установки программного обеспечения, в которых большинство пользователей были вовлечены, практически никогда не отторгаются. С другой стороны, LTV в значительной степени определяется CPA, но на самом деле он в большей степени определяется продолжительностью жизни. Незначительное увеличение продолжительности жизни оказывает огромное влияние, потому что CPA фиксировано, а удержание неограниченно".

Удержание и вовлечение - это инь и янь. Удержание без вовлеченности говорит лишь о половине истории. Не имеет значения, есть ли у вас широта охвата, если у вас нет глубины - ниже я расскажу вам о причинах этого.

Вовлеченность определяет вашу модель доходов

Успех доходной модели продукта коррелирует с глубиной вовлеченности его пользователей. Ваш продукт может иметь отличные показатели удержания пользователей (широта охвата), но без глубины вовлеченности он, скорее всего, не станет крупным бизнесом. Именно сочетание этих двух функций и делает большой бизнес.

Давайте рассмотрим несколько базовых примеров с различными моделями доходов, чтобы лучше понять этот момент.

Модели, основанные на рекламе:

Предположим, что у компании A 1 миллион DAU, у компании B - 2 миллиона DAU, и у обеих одинаковые показатели удержания. Теперь давайте посмотрим на глубину вовлеченности для продукта каждой компании. Допустим, 1 миллион DAU компании А посещают сайт 4 раза в день, а 2 миллиона DAU компании Б - только 1 раз в день.

В этом случае у компании А 4 миллиона посещений в день, а у компании Б - 2 миллиона. Если они обе зарабатывают на рекламе, становится ясно, что компания А заработает гораздо больше денег, потому что у нее в 2 раза больше рекламного инвентаря для продажи, чем у компании Б. Я бы предпочел быть компанией А.

Транзакционные модели:

В этом примере мы сравним влияние вовлеченности для двух компаний по доставке ресторанов. Предположим, что активный пользователь - это тот, кто делает один или более заказов в неделю, что у обеих компаний 100 тыс. еженедельно активных пользователей (WAU), и что компания А получает в среднем 2 заказа в неделю на одного активного пользователя, а компания Б - 1 заказ в неделю на одного активного пользователя.

При таких исходных данных компания А будет получать 200 тыс. заказов в неделю, а компания Б - только 100 тыс. заказов в неделю. Если у обеих компаний одинаковый средний размер заказа, то очевидно, что компания А заработает в 2 раза больше денег, чем компания Б.

Модели SaaS:

Большинство SaaS-компаний закладывают глубину вовлечения в структуру своих цен. Например, поставщики услуг электронной почты обычно взимают плату за количество контактов. Аналогичным образом, компании, предлагающие премиум-интеграции, взимают плату за количество действий, например, за количество запущенных Zaps для Zapier или количество обращений к API Google Maps. Во всех этих случаях глубина вовлечения встроена в модель доходов и является ключевым фактором дохода.

Вовлеченность повышает "обороноспособность"

Более глубокое вовлечение не только способствует монетизации, но и помогает продукту отстоять свое место на рынке. Давайте снова рассмотрим несколько примеров с различными бизнес-моделями, чтобы понять, как вовлеченность укрепляет "обороноспособность".

Транзакционные модели:

Рассмотрим тот же пример, что и выше, с двумя компаниями по доставке ресторанов, которые имеют одинаковое количество WAU. Опять же, компания А получает 2 заказа в неделю, а компания Б - 1 заказ в неделю. В данном случае компания А имеет вдвое больше заказов в неделю, что приводит к двум положительным результатам:

Рестораны в сети компании А с большей вероятностью "прилипнут".

Компания А будет лучше использовать свою сеть доставки.

Оба этих фактора являются ключевыми для подпитки сетевых эффектов, которые помогают компании А построить ров, укрепляющий обороноспособность.

Модели SaaS:

Защищаемость в SaaS, как правило, определяется тремя факторами, которые увеличивают стоимость переключения по мере углубления взаимодействия.

Освоение продукта: Когда конечные пользователи глубоко погружаются в SaaS-продукт, со временем они начинают его осваивать. Они изучают эзотерические функции и комбинации клавиш, и эти глубокие знания позволяют им значительно повысить продуктивность использования программного обеспечения. Когда это мастерство сочетается с легким доступом к их данным, стоимость перехода на другой продукт для пользователя становится еще выше.
Внедрение в организации: Это происходит, когда компании внедряют SaaS-продукт в свой продукт или внутренний рабочий процесс. Благодаря внедрению, продукт становится неотъемлемой частью того, как эти компании работают и получают результаты, что делает его дорогостоящим для "вырывания".
HubSpot - отличный пример SaaS-продукта, который использовал эту стратегию. По мере того как компания привлекала все больше своих клиентов, использующих автоматизацию маркетинга, к своему инструменту автоматизации продаж, она углубляла вовлеченность клиентов и уменьшала боль, которую испытывают клиенты при переходе на новый инструмент.
Сетевые эффекты: Эти эффекты возникают, когда увеличение числа пользователей улучшает опыт использования продукта и, опять же, делает более болезненным переход на конкурирующий продукт. Slack - хороший пример SaaS-продукта с сетевыми эффектами, которые создают издержки переключения. Если вся команда активно пользуется Slack, администратор с гораздо меньшей вероятностью перейдет на другой чат-продукт.
Здесь следует помнить, что в целом SaaS-продукты имеют более слабые сетевые эффекты, чем B2C-продукты, такие как Facebook или Instagram. Пользователю Facebook будет гораздо сложнее переместить всю свою сеть, чем администратору выбрать конкурирующий SaaS-продукт.

Почему удержание - это "тихий убийца

Чтобы правильно понять влияние удержания и определить приоритетность инициатив, необходимо взглянуть на ситуацию в долгосрочной перспективе, а это часто противоречит краткосрочным целям большинства команд.
Показатели удержания легко определить неправильно, и при неправильном определении они могут повести команду в неверном направлении.
Здоровый бизнес - это функция широты (удержание) и глубины (вовлечение). Но команды часто отказываются от одного в пользу другого, или, что еще хуже, отказываются от обоих.

Я надеюсь, что примеры, которые мы рассмотрели выше, показали серьезный бизнес-риск, связанный с тем, что в вашей дорожной карте роста не уделяется приоритетного внимания удержанию и вовлечению, и вдохновили вас инвестировать время и ресурсы в анализ и улучшение обоих показателей для вашего продукта.

Источник

Как Duolingo возобновила рост числа пользователей

2023-03-06T18:18:16.891Z

Источник

Я пришел в Duolingo в качестве руководителя отдела продуктов в конце 2017 года. Duolingo уже был самым скачиваемым образовательным приложением в мире с сотнями миллионов пользователей, выполняя свою миссию "разработать лучшее в мире образование и сделать его общедоступным". Однако рост числа пользователей замедлялся. К середине 2018 года ежедневные активные пользователи (DAU) росли однозначными темпами в годовом исчислении, что вызывало беспокойство, учитывая взрывной рост, который компания наблюдала в прошлом. Это было проблемой для стартапа, инвесторы которого хотели увидеть быстрый рост монетизации.

В этом посте я расскажу о некоторых наших ранних неудачах, а затем о первых крупных победах, которые помогли нам переломить ход роста, включая запуск таблиц лидеров, переориентацию на push-уведомления и оптимизацию функции "streak". Все это, а также ряд других усилий в рамках продуктов и маркетинга, помогло нам увеличить DAU в 4,5 раза за четыре года. Устойчивый органический рост пользователей способствовал выходу Duolingo на IPO в 2021 году.

Эта статья - углубленный взгляд на это путешествие. Я надеюсь, что обмен этой работой поможет другим людям быстрее найти свои собственные прорывы в развитии.

Этап 1: Повышение уровня геймификации

Наша первая попытка возобновить рост была направлена на улучшение удержания (retention), то есть на решение проблемы "дырявого ведра". Мы отдали приоритет работе над удержанием, а не над привлечением новых пользователей, потому что все наши новые пользователи были органическими, и в то время у нас не было очевидного рычага, за который можно было бы потянуть, чтобы увеличить этот показатель. Кроме того, у некоторых из нас было подозрение, что мы можем повысить уровень удержания с помощью геймификации.

Было две основные причины, по которым мне показалось, что это правильный подход. Во-первых, Duolingo уже успешно внедрил несколько геймификационных механик, таких как система продвижения на главном экране, полосы и система достижений. Во-вторых, у лучших цифровых игр того времени коэффициент удержания был гораздо выше, чем у нашего продукта, что я расценил как доказательство того, что мы еще не достигли потолка влияния геймификации.

Геймифицированные страницы Duolingo "Главная" и "Достижения

Вооружившись короткой презентацией, которую я создал совместно с нашим главным дизайнером, мы смогли добиться достаточной поддержки со стороны остальных членов команды и руководителей, чтобы создать новую команду, команду по геймификации. В состав команды вошли инженерный менеджер, инженер, дизайнер, APM (архитектор) и я.

Но была одна небольшая проблема: мы не знали, какая механика постепенной геймификации подойдет для Duolingo.

В то время наша команда увлеклась игрой под названием Gardenscapes, мобильной игрой-головоломкой в жанре "3 в ряд", похожей на Candy Crush. Эта мобильная игра стала нашим первым вдохновением.

Уровень головоломки Gardenscapes "3 в ряд"

Когда мы рассматривали различные игровые механики в Gardenscapes, мы не знали, что именно мы ищем - мы просто знали, что Gardenscapes кажется более увлекательным, чем Duolingo, и мы увидели несколько параллелей.

Трехминутный урок Duolingo был похож на уровень игры Gardenscapes, а в Duolingo и Gardenscapes использовались индикаторы прогресса для визуальной обратной связи о том, насколько пользователь близок к завершению сессии. Однако в Gardenscapes индикатор прогресса был совмещен со счетчиком ходов, чего не было в Duolingo. Счетчик ходов позволял пользователям иметь только ограниченное количество ходов для завершения уровня, что добавляло ощущение нехватки и срочности в игровой процесс. Мы решили включить механику счетчика в наш продукт. Мы дали нашим пользователям ограниченное количество шансов правильно ответить на вопросы, прежде чем им придется начать урок сначала.

Чтобы добавить счетчик нашей команде потребовалось несколько месяцев работы. С выходом обновления я с нетерпением ждал безоговорочного успеха. К сожалению, результат всех этих усилий оказался совершенно нейтральным.

Никаких изменений в нашем удержании. Никакого увеличения DAU. Мы практически не получили никаких отзывов от пользователей. Я был подавлен. Наибольший эффект инициатива оказала на нашу команду. После получения результатов мы быстро разделились во мнениях. Одни хотели продолжать итерации над идеей, а другие - поворачивать. Команда почти сразу (и очень резко) распалась, и идея была заброшена. Это было довольно ужасно. Единственным плюсом этой неудачи стало то, что я многое узнал о культуре компании и о том, как улучшить свой личный стиль руководства - хотя это для другой статьи.

Фаза 2: Рефералы

Почувствовав себя обгоревшими после усилий по геймификации, мы полностью переключились на улучшение удержания пользователей и создали новую команду по продукту, сфокусированную на привлечении новых пользователей, названную командой по привлечению. В то время Uber хорошо справлялась с привлечением пользователей и, по слухам, росла во многом благодаря своей реферальной программе. Вдохновившись этим, мы создали реферальную программу, аналогичную программе Uber. Вознаграждением был бесплатный месяц нашей премиум-подписки Super Duolingo (в то время она называлась Duolingo Plus). Нам показалось, что это очень хорошее предложение!

Мы внедрили эту функцию и надеялись, что наша вторая попытка будет более успешной. Вместо этого количество новых пользователей увеличилось всего на 3%. Это был положительный результат, но не тот прорыв, который нам был нужен. Тем не менее, команда удвоила усилия и упорно продвигалась вперед, создавая итерации реферальной программы и делая некоторые другие ставки, но безрезультатно.

Пока команда продолжала итерации, мне стало ясно, что мы должны найти другой подход к решению проблемы роста.

Время перегруппироваться

После этих неудач, произошедших всего за несколько месяцев, я задумался о том, как лучше делать ставки на продукт.

Оглядываясь назад, стало ясно, почему счетчик ходов в Gardenscapes не очень подходил для нашего продукта. Когда вы играете в Gardenscapes, каждый ход кажется стратегическим решением, потому что вам приходится обходить динамические препятствия, чтобы найти путь к победе. Но для того, чтобы пройти урок Duolingo, стратегическое решение не требуется - в основном вы либо знаете ответ на вопрос, либо нет. Поскольку в этом не было никакой стратегии, счетчик ходов Duolingo был просто скучной, навязчивой помехой. Это была неправильная механика геймификации, которую нужно было внедрить в Duolingo. Я понял, что был настолько сосредоточен на сходстве между Gardenscapes и Duolingo, что не учел важности основных различий.

Также не потребовалось много времени, чтобы понять, почему наша реферальная программа не принесла успеха, подобного Uber. Рефералы работают в Uber, потому что пассажиры платят за поездки по бесконечной системе оплаты по факту. Бесплатная поездка - это постоянный стимул. В Duolingo мы пытались стимулировать пользователей, предлагая бесплатный месяц Super Duolingo. Однако у наших лучших и наиболее активных пользователей уже был Super Duolingo, и мы не могли предоставить им бесплатный месяц, когда они уже были на тарифном плане. Это означало, что наша стратегия, которая должна была опираться на наших лучших пользователей, фактически исключала их.

В обеих этих ситуациях мы заимствовали успешные функции из других продуктов, но неправильно. Мы не учли, как изменение контекста может повлиять на успех функции. После этих попыток я понял, что мне нужно лучше понимать, как грамотно заимствовать идеи из других продуктов. Теперь, когда я хочу перенять какую-либо функцию, я спрашиваю себя:

Почему эта функция работает в этом продукте?
Почему эта функция может быть успешной или неудачной в нашем контексте, т.е. будет ли она хорошо адаптирована?
Какие адаптации необходимы для того, чтобы эта функция стала успешной в нашем контексте?

Другими словами, нам нужно было использовать лучшее суждение при адаптации. Если бы мы были более систематичными только в этой области, то многое бы изменилось в том, какие механики геймификации мы выбрали. И, возможно, мы бы вообще отказались от фокусировки на рефералах. Я был твердо намерен убедиться, что наши следующие попытки будут более методичными. Мы должны были лучше основывать свои решения на данных, знаниях и основополагающих принципах.

Этап 3: Использование данных и моделей

Duolingo всегда преуспевал в сборе данных, особенно для поддержки A/B-тестирования. Но не так много усилий было приложено к использованию данных для генерации идей. Увидев изнутри, как Zynga и MyFitnessPal (прошлые места работы автора - прим.автора) используют данные, я почувствовал, что мы можем использовать данные Duolingo, чтобы найти метрику "северной звезды" (North Star Metric, далее NSM) и добиться нужного нам прорыва.

Моя работа в Zynga и MyFitnessPal вдохновила нас на то, как сегментировать и моделировать наших пользователей по уровню вовлеченности. Zynga разделила своих пользователей и измерила уровень удержания на основе следующих еженедельных показателей удержания:

Коэффициент удержания текущих пользователей (CURR): Вероятность того, что пользователь вернется на этой неделе, если он приходил к продукту в течение двух последних недель.
Коэффициент удержания новых пользователей (NURR): Вероятность того, что пользователь вернется на этой неделе, если на прошлой неделе он был новым пользователем продукта.
Коэффициент удержания повторно активированных пользователей (RURR): Вероятность того, что пользователь вернется на этой неделе, если он был реактивирован на прошлой неделе.

Позже, когда я работал в MyFitnessPal, я обнаружил, что они переняли и расширили работу Zynga по удержанию. Они использовали не только CURR, NURR и RURR для измерения роста, но и для моделирования будущих сценариев. Они также добавили SURR:

Коэффициент удержания пользователей (SURR): Вероятность того, что пользователь вернется на этой неделе, если он вернулся (после более длительного отсутствия) на прошлой неделе.

Блоки, или "ведра", представляют собой различные сегменты пользователей с разным уровнем вовлеченности. И каждый пользователь, когда-либо использовавший продукт, находится в одном, и только в одном, блоке в любой конкретный день. Это означает, что ведра в этой модели представляют собой всю базу пользователей, которые когда-либо использовали Duolingo. Стрелки измеряют перемещение пользователей между ведрами (они включают CURR, NURR, RURR и SURR, но превратились в ежедневные показатели удержания, а не еженедельные). Сочетание ведер и стрелок позволяет создать почти замкнутую систему, в которой единственным разрывом является появление новых пользователей.

Удобно, что четыре верхние графы модели складываются в DAU. Эти группы определяются следующим образом:

Новые пользователи: первый день вовлечения в приложение.
Текущие пользователи: вовлечение сегодня и хотя бы один раз за предыдущие 6 дней
Реактивированные пользователи: первый день вовлечения после отсутствия в течение 7-29 дней
Возобновленные пользователи: первый день взаимодействия после отсутствия в течение 30 дней и более

Остальные три группы представляют пользователей, которые не были активны сегодня и имеют разную степень неактивности.

WAU с риском: неактивны сегодня, но активны хотя бы в один из предыдущих 6 дней.

WAU + DAU = WAU

MAU с риском: неактивны в течение последних семи дней, но активны хотя бы в течение одного из предыдущих 23 дней

MAU + WAU = MAU

Неактивные пользователи: неактивны в течение последних 31 дня или дольше

MAU + неактивные пользователи = Общая база пользователей

Тот факт, что DAU, WAU и MAU могут быть легко рассчитаны на основе этих ведер, облегчает их моделирование во времени. Это ключевая особенность модели. Кроме того, манипулируя ставками, представленными стрелками, мы можем моделировать суммарное и кумулятивное воздействие изменения этих ставок во времени; другими словами, ставки - это рычаги, за которые могут потянуть продуктовые команды для роста DAU.

Создав модель, мы начали делать ежедневные снимки данных, чтобы составить историю развития всех этих групп пользователей и показателей удержания на ежедневной основе за последние несколько лет. На основе этих данных мы могли создать перспективную модель, а затем провести анализ чувствительности, чтобы предсказать, какие рычаги окажут наибольшее влияние на рост DAU. Мы провели имитационное моделирование для каждого тарифа, в котором каждый квартал в течение трех лет изменяли один тариф на 2%, сохраняя все остальные тарифы неизменными.

Мы сразу же увидели, что CURR оказал гигантское влияние на DAU - в пять раз больше, чем вторая лучшая метрика. Оглядываясь назад, можно сказать, что вывод CURR имеет смысл, потому что у ведра Current User есть интересная особенность: текущие пользователи, которые остаются активными, возвращаются в то же ведро.

Это создает эффект компаундирования, что означает, что CURR гораздо труднее сдвинуть с места, но когда это произойдет, это будет иметь большее влияние. На основе этого анализа мы поняли, что CURR - это та метрика, которую мы должны сдвинуть с места, чтобы добиться желаемого стратегического прорыва. Мы решили создать новую команду, команду по удержанию, для которой CURR станет метрикой "Северной звезды".

Одним из самых больших преимуществ сосредоточения на CURR стало решение не работать над тем, что раньше казалось первостепенным, особенно над удержанием новых пользователей. Это был огромный сдвиг в сознании компании, которая добилась огромного успеха, проводя в течение многих лет основную часть своих экспериментов по росту сначала на новых пользователях.

Еще одним важным уроком стал огромный разрыв между тем, как метрика может повлиять на DAU и MAU; например, влияние CURR на DAU было в 6 раз больше, чем влияние на MAU. iWAURR (коэффициент реактивации неактивных WAU) был вторым лучшим рычагом для продвижения DAU, но далеко четвертым для продвижения MAU, после увеличения количества новых и возрожденных пользователей. Это означает, что в какой-то момент нам все равно придется найти новые векторы роста для привлечения новых пользователей, если мы хотим добиться существенного улучшения MAU. Но на данный момент наше внимание было сосредоточено только на увеличении DAU, поэтому мы отдали предпочтение CURR перед всеми другими рычагами роста. И это оказалось правильным выбором.

Вектор лидерства

Получив такое четкое указание, мы просмотрели наши исторические данные модели и наши А/Б-тесты за несколько лет, чтобы выяснить, не сделали ли мы случайно чего-нибудь, что сдвинуло CURR в прошлом. Удивительно, но мы этого не сделали. На самом деле, CURR не двигался уже несколько лет. Мы должны были определить наши первые шаги по продвижению CURR, основываясь на первых принципах.

Я все еще считал, что геймификация - это хорошее начало в попытках повысить уровень удержания. Наша неудача со счетчиком ходов в стиле Gardenscapes не опровергла ни одной из первоначальных причин, по которым мы считали, что геймификация все еще имеет преимущества для Duolingo- мы только узнали, что счетчик ходов был неуклюжей попыткой. В этот раз мы будем более методично и разумно подходить к выбору функций, которые мы добавляем или заимствуем. Мы постарались применить уроки наших предыдущих попыток геймификации.

После некоторых раздумий мы решили сделать ставку на таблицы лидеров. Вот почему и как. В Duolingo уже была доска лидеров, с помощью которой пользователи могли соревноваться со своими друзьями и родственниками, но она не была особенно эффективной. Основываясь на своем опыте работы в Zynga, я чувствовал, что есть лучший способ. Когда я начал работать над игрой FarmVille 2 от Zynga, в ней была предусмотрена таблица лидеров, аналогичная существующей таблице лидеров Duolingo, где пользователи соревновались со своими друзьями. Основываясь на своем личном опыте игрока, я предположил, что близость соперников будет важнее, чем близость личных отношений. Я думал, что это будет особенно верно в зрелом продукте, где многие друзья пользователей уже не активны. По результатам нашего тестирования в Zynga, эта идея оказалась верной. Исходя из этого, я чувствовал, что система таблиц лидеров, подобная той, которую я помогал разрабатывать в Zynga, будет успешной в контексте нашего продукта.

Таблица лидеров FarmVille 2 также включала систему "лиг". Помимо попадания на вершину еженедельной таблицы лидеров, пользователи имели возможность продвигаться по ряду уровней лиги (например, от Бронзовой лиги к Серебряной лиге и Золотой лиге). Лиги давали пользователям большее ощущение прогресса и вознаграждения, что является неотъемлемым элементом игрового дизайна. Они также повышают вовлеченность со временем, так как пользователи, участвующие в игре, переходят в более конкурентные лиги неделю за неделей. Мы посчитали, что эта функция хорошо впишется в существующий продукт Duolingo, поскольку она напрямую связана с такими распространенными человеческими мотивами, как соревновательность и продвижение вперед.

Пользователи сопоставляются с другими пользователями, которые имели аналогичный уровень вовлеченности на предыдущей неделе. Лучшие игроки по итогам недели переходят в более высокую лигу на следующей неделе.

Однако не все аспекты таблиц лидеров FarmVille 2 хорошо переносятся на Duolingo. Нам пришлось применить свое суждение, чтобы адаптировать эту игровую механику к контексту Duolingo. В FarmVille 2 соревнование в таблице лидеров требовало выполнения дополнительных заданий помимо основного игрового процесса. Это было то, что мы намеренно оставили без внимания. В контексте Duolingo дополнительные задания только добавили бы ненужную сложность в изучение языка. Мы намеренно сделали нашу таблицу лидеров максимально непринужденной и не требующей особых усилий; пользователи автоматически регистрировались в ней и могли продвигаться к вершине первой лиги, просто постоянно занимаясь изучением языка. Сохранив интересную игровую механику, но сделав ее более простой, чем в FarmVille 2, мы почувствовали, что достигли правильного баланса между адаптацией и адаптацией.

Функция таблиц лидеров оказала огромное и почти мгновенное влияние на наши показатели. Общее время обучения увеличилось на 17%, а количество высоко вовлеченных учеников (пользователей, уделяющих обучению не менее 1 часа в день в течение 5 дней в неделю) утроилось. На тот момент мы еще не знали, как рассчитать статистическую значимость для CURR, но мы увидели, что наши традиционные показатели удержания (D1, D7 и т.д.) улучшились существенно и со статистической значимостью. В дальнейшем функция доски лидеров стала вектором для улучшения показателей, и команды продолжают оптимизировать эту функцию по сей день. Также важно отметить, что доска лидеров стала первым прорывом команды по удержанию!

Вектор Push-уведомлений

Команда по удержанию пользователей была полностью воодушевлена поиском новых методов, чтобы удержать текущих пользователей и мотивировать их заниматься каждый день. Одной из областей, которую они начали изучать, были push-уведомления. Основываясь на значительном A/B тестировании в предыдущие годы, Duolingo установил, что уведомления могут быть важным вектором роста, но с годами это влияние ослабло. С обновленной командой, полной новых идей, мы почувствовали, что настало подходящее время пересмотреть этот вектор.

Когда мы начали погружаться в эту тему, один принцип стал главным. Он возник из поучительной истории, рассказанной генеральным директором Groupon. Он рассказал Луису фон Ану, нашему генеральному директору, что долгое время Groupon придерживался одного уведомления по электронной почте в день. Но их команда начала задумываться о том, улучшит ли рассылка большего количества писем показатели. В итоге генеральный директор сдался и разрешил своей команде протестировать отправку еще одного письма каждому пользователю каждый день. Этот тест привел к значительному увеличению целевых показателей. Воодушевленная, Groupon продолжила экспериментировать, отправляя больше писем, даже до пяти в день. Затем, по ощущениям, их канал электронной почты потерял большую часть своей эффективности. Со временем накопление агрессивных тестов электронной почты Groupon практически уничтожило их канал. Один из часто недооцениваемых рисков агрессивного A/B-тестирования электронных писем и push-уведомлений заключается в том, что это приводит к отказу пользователей от канала; и даже если вы прекратите тестирование, эти пользователи навсегда останутся в отказе. Проделайте это много раз, и вы разрушите свой канал. Такого результата нужно было избежать. Для наших push-уведомлений мы установили одно основополагающее правило: защищать канал.

Учитывая это ограничение, мы решили дать команде большую свободу в оптимизации таких параметров, как время, шаблоны, изображения, копии, локализация и т.д., но они не могли увеличивать количество уведомлений без веского обоснования и одобрения генерального директора. Со временем, благодаря бесчисленным итерациям, A/B-тестированию и алгоритму бандита, команда смогла создать десятки мелких и средних побед, которые год за годом приводили к существенному росту DAU.

Вектор роста

В поисках еще большего количества векторов роста APM из команды по удержанию пользователей начал исследовать, существует ли сильная корреляция между удержанием пользователей и использованием определенных функций Duolingo. Он обнаружил, что если пользователь достигает 10-дневной полосы, его шансы на отсев значительно снижаются. Очевидно, что многое из этого было просто корреляцией и предвзятостью отбора, но мы посчитали этот факт достаточно интересным, чтобы снова начать инвестировать в улучшение этой функции.

Концепция стрима на самом деле довольно проста: показать пользователям количество дней подряд, в течение которых они выполняли какие-либо действия в приложении. Но оказалось, что вокруг полос существует удивительно большое количество возможностей для оптимизации.

Мы добились первой большой победы с уведомлением о сохранении полос - уведомлением, которое предупреждает пользователей с полосами, если они вот-вот потеряют свою полосу. Это ночное уведомление доказало, что оптимизация полос действительно имеет значительные преимущества. После этого последовало несколько улучшений: просмотр календаря, анимация, изменения в замораживании полос и вознаграждение за полосу, среди прочих. Каждое из них помогло улучшить первоначальную идею полос и привело к существенному улучшению удержания.

На сегодняшний день функция полосы является одной из самых мощных механик вовлечения в Duolingo. Когда люди рассказывают о своем опыте использования Duolingo, они часто упоминают о своей полосе. Недавно я встретил одного пользователя, который сказал мне: "У меня полоса в 1 435 дней!" и добавил: "И ни одной заморозки!". Его хвастовство было вполне заслуженным, поскольку он ежедневно изучал выбранный язык в течение почти четырех лет.

Полосы работают по нескольким причинам. Одна из них заключается в том, что полоса со временем повышает мотивацию пользователя; чем длиннее полоса, тем больше стимул продолжать ее. Когда речь идет об удержании пользователей, именно такого поведения мы хотим добиться от наших пользователей. Каждый день, когда ученик приходит в Duolingo, он заботится о том, чтобы вернуться на следующий день, немного больше, чем за день до этого, а значит, повышается уровень удержания и DAU. В качестве мета-урока, наш успех с механикой полос еще раз показал нам, что мы можем извлечь большую пользу из существующих функций. Мы увидели ценность как в больших прорывах, так и в быстрой оптимизации. А в команде класса "А+" часто сочетается и то, и другое.

Рост за пределами CURR

Мы не остановились на CURR; существовала очень здоровая паранойя, что в какой-то момент CURR достигнет потолка, и рано или поздно нам придется искать векторы роста для привлечения новых пользователей. Команда по удержанию пользователей оставалась сфокусированной на увеличении CURR, но как компания мы постоянно увеличивали наши инвестиции в рост, создавая все новые и новые команды по продукту и маркетингу для поиска новых векторов (как для удержания, так и для привлечения пользователей). К счастью, некоторые из этих ставок сработали, включая международную экспансию, создание социальных функций (именно на это в конечном итоге переключилась команда Acquisition, причем с большим успехом), ускорение создания контента курсов, работу с влиятельными людьми, увеличение нашего присутствия в школах, инвестиции (немного) в платные каналы привлечения и безумный вирус на TikTok. Каждый из этих примеров заслуживает отдельного исследования.

Общие результаты

Благодаря нашим усилиям за четыре года мы смогли увеличить CURR на 21%, что представляет собой снижение ежедневного оттока наших лучших пользователей более чем на 40% и, вместе с другими нашими успешными ставками, привело к увеличению нашего DAU в 4,5 раза. Прошлый год стал одним из самых быстрых темпов роста в истории Duolingo. Качество пользовательской базы также улучшилось; доля наших пользователей со стажем 7 дней и более увеличилась почти в 3 раза и составила более половины наших пользователей. Это означает, что у Duolingo теперь не только гораздо больше активных пользователей, но и то, что эти пользователи с гораздо большей вероятностью будут возвращаться, рекомендовать своих друзей и подписываться на Super Duolingo. Такой рост стал залогом успешного IPO Duolingo.

Размышления на прощание

Я надеюсь, что эта статья вдохновит вас на поиск новых векторов роста для вашего продукта. Если вы возьмете что-то из моего опыта работы в Duolingo, я надеюсь, что вы адаптируете это к своему контексту, используя свои лучшие суждения. Не стоит слепо доверять тому, что сделала Duolingo или любая другая компания. Это точно не сработало для меня. Счастливых экспериментов!

Источник

Трансметрополитен. Будущее, которое не хотелось бы.

2023-01-08T19:02:18.039Z

Начну с ключевых слов, которыми можно описать то, что я сейчас прочитал: комикс, политика, журналистика, ненависть, ненависть, ненависть, ненависть, киберпанк, мразотное будущее. Как вам наборчик?

Политический комикс про журналиста, который ненавидит всё вокруг, кроме правды. И всё в сеттинге будущего, наполненного чипами (привет, Билл Гейтс), порнографией, перемещением тел и трехглавым курящим котом. Так наверное будет понятнее. Или нет :)

Знакомьтесь, это Спайдер Иерусалим.

Журналист, правдоруб, готов пойти на всё, чтобы добиться правды. Не важно какой она будет и кому выгодна. Мир Трансметрополитен складывается так, что почти всегда она вообще никому не выгодна. Про нее просто забыли. Но этим харизматичным писакой зачитываются, хотя вряд ли понимая вообще зачем.

Мы — народ. Мы люди, проголосовавшие за минеты и мыльную оперу. Мы те, кто принимает слухи, которые мы же и рассказываем, за чистую монету. Мы те, кто засирает все вокруг. Мы обычные маньяки, не особо умные, родители детей, которые запинали старика до смерти просто потому, что он смешно пахнет. Мы — люди, о которых ты постоянно говоришь. Мы те, для кого ты распинаешься каждую неделю в своей колонке. Но мы не читаем сраных газет. Боже, нет! Мы смотрим телек или скачиваем облегченную версию с Интернета. Мы никогда не слышим твои слова так, как они были сказаны... Мы — твои читатели.

Разумеется, первой ассоциацией сразу прилетает Хантер Томпсон. Что ж, если он хоть чуть-чуть похож на Спайдера, то моё почтение такие людям. Надо иметь смелость, жесткость и просто колоссальный запас сил, чтобы быть им. Дружить с такими людьми явно нелегко. Что еще раз показано и в комиксе. Это Доктор Хаус на максималках.

Отдельной линией всего произведения идет ненависть. Даже не так. Абсолютный хейт всего, что движется. Хейт со слюной, которая вылетает при каждой реплике героя. Хейт с отборным матом, который летит в непонятное существо с головой марсианина и грудью порнозвезды. И если у обычных людей чувство ненависти что-то или кто-то вызывает, то Иерусалим и ненависть - это стелька в обуви: просто невозможно представить, что главный герой не будет кричать и бесится. Ненависть - это сильный пинок под зад, который двигает персонажа к написанию колонок.

Если классические литературные произведения можно разбирать на цитаты, то такие комиксы как Трансметрополитен можно на панели. Это могут быть мемы или стикеры для телеграмма. Синк эбаут ит.

Я еще раз понял, почему я люблю комиксы. Не все, разумеется, а именно такие. Пусть странные, чертовски жестокие и пропитанные негативными эмоциями. В палитре цветов здесь преобладают цвет крови, синяков и блевотины. НО... Ты читаешь историю, колонку за колонкой. Всё идет своим чередом, без каких-либо потрясений. Но в конце одна панель с изящным рисунком и одной фразой притрагивается к тебе электрошоком. И это не клиффхэнгер, это просто такая художественная точка в истории. Которая очень приятно раздавливает тебя и ты лежишь с мурахами по всему телу.

Как итог. Это классное произведение. Ничего похожего нет в принципе. Но такого будущего я не хочу. Если мы в детстве рисуем себе будущее с ховербордами и летающими такси, то Уоррен Эллис видит его совсем иным. Грязным, жестоким, гадким, но с юмором. К сожалению, первых признаков там в достатке. Комикс похож эмоциями, которые можно испытывать при ударах в боксерскую грушу. Хоть я такие эмоции стараюсь избегать, но иногда нужно, чтобы не забывать, что такое есть.

Побывать в космосе и остаться "нулем"

2023-01-08T18:59:16.687Z

Как-то так получается, что добрые и теплые книги мне попадаются не так часто. Скорее даже почти совсем. Пытаюсь вспомнить такие книги и кроме одной больше не могу - "Несвятые святые". Теперь пришло время за второй прекрасной, по-истине доброй и очень приятной книгой "Руководство астронавта по жизни на Земле. Чему научили меня 4000 часов на орбите" за авторством Криса Хэдфилда: космонавта, который трижды побывал в космосе.

И не просто побывал, а вывел из этих космических приключений очень важные уроки.

Автор, при всей своей крутости (всё-таки в космосе побывало миллионная или миллиардная процента (мне лень считать нули после запятой) людей), остается таким же человеком, как и мы все. Он это понимает не только для красного словца, это отражается в его поведении на Земле, с родными, друзьями и просто по отношению к себе.

Не во всем, но во много я узнавал себя. От этого становилось вдвойне хорошо, так как поступки и взгляды показывают всё же классного человека. Мне тоже хочется быть таким.

Эта книга одновременно про всё то, с чем мы сталкиваемся в обществе, но слишком заняты другими делами и не обращаем внимание на многие вещи. Как вести общаться с токсичными людьми и как можно перевернуть ситуацию в свою пользу? Почему давать советы вовремя - это полезно. Почему в принципе дать хороший совет - это не обязанность и здесь нет никакого гордости, а просто порыв души ради слушающего человека.

Параллельно с этим в книге очень понятно, без заумных слов описана стратегия достижений неплохих результатов. Я не говорю о выдающихся достижениях. Не думаю, что и автор думал, что войдет в историю. Это просто не в его правилах. Делать свою работу и не закапываться в неудачи, это один из главных принципов. Может не получится, это нормально. Продолжай смотреть в будущее!

С годами я понял, что в любой ситуации, не важно, в лифте или на космическом корабле, отношение к вам окружающих почти всегда можно описать одним из трёх способов. Вы - "минус один": вы тот, кто создаёт проблемы и от кого один только вред. Вы - "ноль": ваше влияние нейтрально и не смещает равновесие ни в одну из сторон (от вас ни вреда, ни пользы). И, наконец, "плюс один": вы тот, кто активно делает что-то полезное. Конечно, каждый хочет быть полезным. Но если вы, толком ещё ничего не сделав, начнёте декларировать свою полезность, отношение к вам будет как к "минус одному", независимо от того, какие навыки вы продемонстрируете и как хорошо вы работаете.

Это так просто и так близко! Лайк, подписка, колольчик, шер и вот это вот всё.

Местами в книге прекрасный добрый юмор, прежде всего над собой. И это супер важно! Любовь к смеху над собой - это один из самых главных признаков хорошего человека. Меня это правило никогда не подводило.

Квадратный астронавт, круглый люк. Но тем не менее я справился и протащил себя через этот люк, и в этом было кое-что по-настоящему удивительное: по пути я принял нужную форму, потратив на это всего-то 21 год.

Ну и куда без космической бытовухи. Как ходить в туалет? Как питаться и спать в невесомости? Как себя развлекать в очень малом пространстве? Крис с музыкальной фамилией Хэдфилд (🤘) музыкант, снял первый клип на МКС. Моё увОжение.

На данный момент это лучшая книга по soft-skills. Ну или по простому: как быть просто нормальным и адекватным.

Эй, спасибо Крис за такое невероятное приключение к звездам через очень трогательные книжные строки. Тебя научили 4000 часов на орбите, а меня - твоя книга. На орбите мне уж точно не побывать 🙂

P.S. В тему будет также посмотреть интервью с Сергеем Рязанским, отечественным космонавтом. Вопросы про туалет и отходы присутствуют :)

P.P.S. Без Google. В чем отличие астронавта от космонавта?

Корреляция и причинно-следственная связь. Разница для аналитики продукта.

2023-01-08T18:54:38.874Z

Для начала чуть-чуть определений, чтобы в дальнейшем меньше было путаницы.

Причинно-следственная связь — связь двух величин, при которой изменение одной величины порождает изменение другой.

Корреляция — это такая связь двух величин, при которой изменение одной из них сопутствует систематическому изменению другой. При этом связь может как быть, так и не быть причинно-следственной (например, обе величины зависят от третьей, но не зависят друг от друга).

Хотя причинно-следственная связь и корреляция могут существовать одновременно, корреляция не означает причинно-следственную связь.

Корреляция и причинно-следственная связь могут показаться обманчиво похожими. Но понимание их различий может стать неудачной тратой усилий на недорогие функции и созданием продукта, которым ваши клиенты не могут перестать восхищаться.

В чем же разница между корреляцией и причинно-следственной связью?

Как ранее уже упоминал, причинно-следственная связь и корреляция могут существовать одновременно, но корреляция не подразумевает причинно-следственную связь. Причинно-следственная связь — это когда действие A приводит к результату B.

Корреляция же — это в каком-то роде просто отношения. То есть действие A относится к действию B, но одно событие не обязательно вызывает другое событие.

Корреляция и причинно-следственная связь часто путаются, потому что человеческий ум любит находить закономерности, даже когда их нет. Мы часто выдумываем эти паттерны, когда две переменные оказываются настолько тесно связанными, что одна зависит от другой. Это означало бы причинно-следственную связь, когда зависимое событие является результатом независимого события. Мы не можем просто предположить причинно-следственную связь, даже если видим два события, происходящих, казалось бы, вместе, перед нашими глазами.

Во-первых, наши наблюдения — это слишком субъективная оценка. Во-вторых, может быть, что:

Верно и обратное: B на самом деле вызывает А.
Эти два действия коррелируют, но это еще не все: А и И коррелируют, но на самом деле они вызваны C
Здесь задействована еще одно действие: A действительно приводит к B, но до тех пор, пока D происходит.
Или существует цепная реакция: А вызывает Е, которая приводит Е к причине В (но вы видели, что А вызывает в только из ваших собственных глаз).

Пример корреляции и причинно-следственной связи в аналитике продуктов

Вы можете ожидать найти причинно-следственную связь в вашем продукте, где конкретные действия или поведение пользователя приводят к определенному результату.

Представьте себе, что вы только что запустили новую версию своего мобильного приложения. Вы делаете ключевую ставку на то, что Retention в приложении связан с социальным поведением, а точнее пользователю важно присутствие в каком-либо сообществе.

Вы просите свою команду разработать новую функцию, которая позволяет пользователям присоединяться к «сообществам».

Через месяц после того, как вы выпустили и анонсировали свою новую функцию сообществ, вы анализируете данные на предмет влияния сообществ на Retention. Для этого вы создаете две группы пользователей одинаковой численностью с произвольно выбранными пользователями. В одной когорте есть только пользователи, которые присоединились к сообществам, а в другой — только юзеры, которые не присоединились к сообществам.

Ваш анализ показывает шокирующее открытие: пользователи, присоединившиеся по крайней мере к одному сообществу, возвращаются в апп намного чаще, чем средний пользователь.

Retention 1-го дня у пользователей с сообществами — почти 90%, по сравнению с 50% у тех, кто не присоединился к ним. К 7-му дню метрика показывает 60%, тогда как лишь 18% у тех, кто не вступил в сообщества. Это очень крутые изменения.

https://imgs.xkcd.com/comics/cell_phones.png

Но надо быть осторожным. Чисто логически необходимо всегда понимать, что у вас нет достаточной информации, чтобы сделать вывод, является ли присоединение к сообществам причиной лучшего Retention. Все, что вы знаете, — это то, что эти два действия взаимосвязаны.

Как проверить наличие причинно-следственной связи в вашем продукте

Причинно-следственные связи не возникают случайно. Конечно, часто возникает соблазн связать два действия (или переменные) как «причину и следствие». Но без четкого доказательства причинности, без анализа, этот соблазн может привести к ложному положительному результату, когда причинная связь кажется существующей, но на самом деле ее нет. Это может произойти, если вы не будете тщательно проверять связь между зависимой и независимой переменными.

Тщательно проверьте связь между зависимой и независимой переменными, прежде чем утверждать причинность. Ложные срабатывания очень болезненны при создании продуктов, поскольку они могут ввести вас в заблуждение, заставляя думать, что вы понимаете связь между важными результатами и поведением пользователей. Например, вы можете думать, что знаете, какое конкретное событие приводит к долгосрочному удержанию пользователя (Retention), но без тщательного тестирования вы рискуете основывать важные решения о продукте на неправильном поведении пользователя.

Проведите надежные эксперименты, чтобы определить причинную связь

Существуют два эксперимента, которые вы можете использовать для выявления причинно-следственной связи с вашим продуктом:

Проверка гипотез
А/B/n эксперименты

Проверка гипотез

Самый обычная проверка гипотезы будет состоять из H0 (нулевая гипотеза) и H1 (ваша основная гипотеза). Вы также можете иметь вторичную гипотезу, третичную гипотезу и так далее.

Нулевая гипотеза всегда противоположна вашей основной гипотезе. Почему? Потому что вы не можете доказать свою первичную гипотезу со 100% уверенностью (самое близкое, что вы можете получить, — это 99%), но вы можете опровергнуть свою нулевую гипотезу.

Основная гипотеза указывает на причинно-следственные связи, которые вы исследуете, и должна идентифицировать независимую переменную и зависимую переменную. Лучше всего сначала создать свою H1, а затем определить его противоположность и использовать его для вашего H0.

Ваш H1 должен идентифицировать ожидаемую связь между вашими независимыми и зависимыми переменными. Таким образом, если мы используем предыдущий пример влияния социальных функций (сообществ) на удержание, ваша независимая переменная будет действием присоединения к сообществам, а ваша зависимая переменная — к Retention.

Итак, ваши гипотезы могут быть:

H1: если пользователь присоединяется к сообществу в рамках нашего продукта в первый месяц, то он будет оставаться клиентом более одного года.

Чтобы сгенерировать нулевую гипотезу, необходимо сформировать обратное утверждение гипотезе H1:

H0: нет никакой связи между присоединением к сообществу в приложении и удержанием пользователей.

Цель состоит в том, чтобы наблюдать любое фактическое различие между вашими различными гипотезами.

Если вы можете отвергнуть нулевую гипотезу со статистической значимостью (в идеале с минимальной достоверностью 95%), вы ближе к пониманию взаимосвязи между вашими независимыми и зависимыми переменными.

В приведенном выше примере, если вы можете отвергнуть нулевую гипотезу, обнаружив, что присоединение к сообществу привело к большему Retention, то вы, вероятно, можете сделать вывод, что существует некоторая связь между сообществами и удержанием пользователей.

Когда использовать проверку гипотез

Проверка гипотез полезна, когда вы пытаетесь определить, действительно ли существует связь между двумя переменными, а не опираетесь на собственные домыслы.

Возможно, вы захотите взглянуть на исторические данные, чтобы запустить продольный анализ, который рассматривает изменения с течением времени. Например, вы можете проверить, являются ли первые пользователи для запуска продукта вашими самыми большими промоутерами.

Или же вы можете запустить перекрестный анализ, который анализирует данные в конкретный момент. Это полезно, когда вы смотрите на последствия конкретного воздействия и результата, а не на изменения тенденций в течение определенного периода. Например, можно изучить взаимосвязь между рекламными акциями и продажами в праздничные дни.

A/B/n эксперименты

A/B/n тестирование может привести вас от корреляции к причинно-следственной связи. Посмотрите на каждую из ваших переменных, измените одну и посмотрите, что произойдет. Если ваш результат постоянно меняется (с одной и той же тенденцией), вы нашли переменную, которая имеет значение.

Эндрю Чен говорит об этом так: «…После того, как вы нашли модель, которая работает для вас, следующий шаг — это попробовать и А/B протестировать ее. Сделайте что-то такое, что расставляет приоритеты входной переменной и увеличивает ее, возможно, за счет чего-то другого. Посмотрите, будут ли эти пользователи более успешными в результате. Если вы видите большую разницу в своей метрике (не важно в какую сторону), значит, вы на что-то наткнулись. Если нет, то, возможно, это не очень хорошая модель.»

Когда речь заходит о том, что присоединение к сообществам приводит к более высокому Retention, вы должны исключить все другие переменные, которые могут повлиять на результат. Например, пользователи могли бы выбрать другой путь, который в конечном итоге повлиял бы на сохранение данных.

Чтобы проверить, существует ли причинно-следственная связь, вам нужно будет найти прямую связь между пользователями, присоединяющимися к сообществам и использующими ваше приложение в долгосрочной перспективе.

Начните с самого начала. Для следующих 1000 пользователей, которые зарегистрируются, разделите их на две группы. Половина из них будет вынуждена присоединиться к сообществам, когда они впервые зарегистрируются, а другая половина — нет.

Проведите эксперимент в течение 30 дней, а затем сравните показатели удержания между двумя группами.

Если вы обнаружите, что группа, которая была вынуждена присоединиться к сообществам, имеет относительно более высокий уровень удержания, то у вас есть доказательства, необходимые для подтверждения наличия причинно-следственной связи между присоединением к сообществам и удержанием. Эта взаимосвязь, вероятно, заслуживает дальнейшего изучения, чтобы понять, почему сообщества стимулируют удержание ресурсов.

Когда используется A/B/n тестирование

A/B / n, или сплит-тестирование, идеально подходит, когда вы сравниваете влияние различных фичей (это может быть функция продукта или контентная стратегия и пр.).

Например, можно провести тест пользователей на:

Использование стороннего приложения для автоматического распознавания имени и компании ваших пользователей
Сокращение количества полей в вашей регистрационной форме, если таковая имеется

После запуска нескольких вариантов продукта вы можете взглянуть на результаты, чтобы сравнить показатели конверсии, Retention и другие.

Для устойчивого роста продукта используйте правильные выводы

Мы всегда ищем закономерности вокруг себя, поэтому наша основная цель — быть в состоянии объяснить то, что мы видим. Однако, если причинно-следственная связь не может быть четко определена, следует предположить, что мы видим только корреляцию.

События, которые кажутся связанными на основе здравого смысла, не могут рассматриваться как причинные, если вы не можете доказать четкую и прямую связь. И хотя причинно-следственная связь и корреляция могут существовать одновременно, корреляция не означает причинно-следственную связь.

Чем лучше вы научитесь выявлять истинные корреляции внутри вашего продукта, тем лучше вы сможете расставить приоритеты в своих усилиях по вовлечению и удержанию пользователей.

P. S. Города с бОльшим количеством церквей имеют больше преступлений. Это достоверный факт. Как церкви влияют на количество преступлений в городах? :)

На основе: https://amplitude.com/blog/2017/01/19/causation-correlation.

Харпер Ли - Убить пересмешника. Добрый роман про убийство.

2023-01-08T15:06:52.661Z

Честно признаться, я был немного в недоумении, когда читал первую половину книгу, и мне описывали быт откровенного захолустья США, детские милые шалости и игры. В общем, простую сельскую жизнь со всеми её плюсами и минусами. Вроде бы книга входит в какие-то очередные ТОПы, рейтинги бестселлеров. А читаешь и не сильно понимаешь: "А что в ней такого?".

Как это часто и бывает - первое впечатление было смазано. Но, переступив порог, когда книга в маленьком формате может просто распасться на две части (господа издатели, да проклеивайте вы нормально корешки, нет у нас дефицита клея), повествование превращается в увлекательную драму. За ней интересно следить и переживать героям. Особенный флёр конечно придаёт, что весь рассказ строится со слов девочки-пацанки, которая не прочь подраться.

По факту перед нами судебный процедурал на тему расизма. Не понимаю, как расизм вообще добрался до XX века. Этот рудимент, от которого человечество никак не может избавиться. Видимо поэтому, он до сих пор тревожит многих. И именно такие гнилые темы создают такие прекрасные произведения как "Убить пересмешника", "12 лет рабства", "О мышах и людях" и др.

У автора прекрасно получилось выстроить роман таким образом, чтобы читателю не было противно, а даже наоборот. Читаешь строки и понимаешь, что это достаточно мило. Но, чтобы не заводить нас в эту розовую картину полностью, книга показывает реальную жизнь со всеми её взлетами и анти-хеппиэндами. Не смотря на то, что автор женщина, мужества с её детских времен (книга написана отчасти "про себя") хоть отбавляй. И ведь не обязательно всегда побеждать, главное двигаться вперед не смотря ни на что.

Мужество - это когда заранее знаешь, что ты проиграл, и все-таки берешься за дело и наперекор всему на свете идешь до конца. Побеждаешь очень редко, но иногда все-таки побеждаешь.

Книга в итоге получилась очень близкой мне по духу. Добрая в своих высказываниях, поступках главных героев и с огромным уважением к другим участникам рассказа. Да, фактически семья главного героя поддерживала установившийся строй, но делала это совершенно не с той целью, коей придерживаются обычные сторонники этой концепции мироустройства. О как загнул :)

Станислав Лем - Насморк. И снова случайность - наше всё.

2023-01-08T15:05:24.938Z

Обычно после просмотра фильма или чтения книги я лезу в интернет, чтобы почитать рецензии или интересные факты. Интересно наблюдать, когда твое мнение о произведении совпадает или нет с другими людьми. Аналогично я поступил и после прочтения "Расследования" Станислава Лема. Мой глаз зацепился за постоянные упоминания другого похожего произведения "Насморк". Запомнить такое название не составило труда, поэтому при попадании в книжный магазин я купил эту книгу себе.

Еще в книжном магазине пролистывая книгу я обратил внимание, что в ней крайне мало прямой речи. И это меня смущало. Есть у меня воспоминания со времен чтения "Сто лет одиночества". Было интересно, но мучительно. В "Насморке" три четверти книги без диалогов. Но, как я понял, Станислав Лем может смело конкурировать в мастерстве сторителлинга с Нилом Гейманом.

Немного о сюжете

Нетипичная детективная история начинается с того, что некий бывший астронавт отправляется по Европе по следам не то самоубийц, не то сумасшедших. Смысл в том, чтобы повторить их маршрут и понять, а в чем собственно дело. Ни с того ни с его, 11 вполне себе мужчин погибают один за другим.

По-прежнему, как и в "Расследовании" Лем пишет очень кинематографично, без лишних деталей, главное - сформировать картинку в мозгу читающего. У него это получается максимально блестяще. Ты и правда отправляешься в путешествие вместе с главным героем, соглашаешься с его мыслями. И самое главное - тебя не отпускает! Особенно после части, где есть диалоги :) Вернее он один, но очень большой. После него собирается весь пазл картинки. НО…

В итоге получается картина, на которую смотришь и задаешься новыми вопросами: "А зачем?", "Почему?", "Кому это выгодно?". В отличии от того же "Расследования" здесь есть ответ. Он максимально логичен. Но не повторим в прямом смысле этого слова. Я не буду приводить спойлеры (хотя разгадку я уже написал), но после прочтения вы поймете почему я использовал слово "не повторим".

В книге даже есть элементы боевичка: взрывы, спасения, главный герой - "супермен". Когда книга окончена, я правда не особо понимаю к чему она. Слишком слабо она вписывается в общий сюжет книги. Это пожалуй тот небольшой минус, который можно дорисовать к книге. В остальном - это отличное произведение, в него уходишь с головой и получаешь наслаждение от прочтения.

Я не знаю как называется это чувство, когда смотришь сериал и понимаешь, что в конце будет сюжетный твист (ну или как там по-модному "Клиффхэнгер"), и надо включать следующую серию, а у тебя аж мандраж какой-то перед включением. Аналогично испытаешь с "Насморком", когда читаешь страницу за страницей. Завораживает.

Станислав Лем - Расследование. Безумная случайность

2023-01-08T15:02:17.762Z

Покупка "Расследования" была случайной. Я никогда не читал Станислава Лема, даже о существовании этого автора и не предполагал. Для бесплатной доставки надо было добрать небольшую сумму, поэтому выбирал что-то недорогое и максимально интересное. В итоге не прогадал.

Из анонса угадывалось, что произведение - средний детективчик, в котором острый ум сыщика как орешки щелкает поставленные перед ним задачки.

Дано: пропащие трупы из морга. Улики указывают на то, что тела самостоятельно покидали места своего временного пребывания.

Найти: преступника и мотивы странных преступлений.

Решение

Завязка интересная, не смотря на всю тривиальность. Посмотрим, что с развязкой. А она как раз смогла удивить. Больше всего мне не хотелось, что были в сюжет вплетены потусторонние силы, инопланетяне, магия и прочая несусветная чушь. Такой приём мог бы разрулить абсолютно любую ситуацию. Благо этого не случилось.

Надо отдать должное автору: во время всего процесса чтения мой мозг четко рисовал нуарную картинку: черно-белые тона, сигаретный дым, плащи и шляпы, виски, дождь. История написана очень кинематографично. Здесь нет громоздких описаний, всё лаконично и в тоже время всеобъемлюще. Много диалогов, размышлений, минимум экшна, всё очень логично, шаг за шагом сыщик пытается выйти на след преступника - тягучий процедурал. Плюс ко всему весь анализ происходящего рассматривается со стороны статистики и цифр. Это интересно. Но не только этим запоминается книга.

К сожалению, без спойлеров не обойтись. Поэтому. Для тех, кто дочитал до этого места - рекомендую к прочтению. Как бы по-дурацки это не звучало, но вы будете либо удивлены, либо в бешенстве. Очень непривычная концовка. Но мимо читающего книга точно не пройдет. Это далеко не жвачка. Ниже читать только на свой страх и риск.

Дальше спойлеры. Я предупредил

Безумие, простите, это не мешок, в который можно сваливать все людские поступки с непонятными для нас мотивами. У безумия имеется своя структура, своя логика поведения.

Дело в том, что отгадки не будет. Вернее так: отгадок у этого странного преступления - великое множество. И это может ввести в бешенство, ведь вы прочитали книгу, а ответа не получили. И он не спрятан где-то на страницах. Он и правда отсутствует.

Автор приводит пару примеров, кто бы и зачем мог перемещать трупы. И это совершенно верно. Не может быть у такого совершенно идиотского правонарушения одного единственного разумного решения. Мне кажется, главный герой это знает еще в самом начале книги, но всё равно копает в сторону единственной иголки в стоге сена. Как оказывается, в книге важна не сама цепочка "преступление-розыск-наказание", а сама психология этого процесса. Лем копается, размышляет на темы безумия, случайности, совпадения. Что-то подобное я встречал в комиксе "Лечебника Аркхем. Дом скорби на скорбной земле. Советую ознакомиться, необычный взгляд на уже привычные эмоции.

Эта история с открытым вопросом, на которой множество ответов. Собственно, как и в "Расследовании" Станислава Лема.