AB — Перевод на русский

EnglishAB: 93 squared. Would you call out your answers, please?

Аудитория: 93 АБ: 93 в квадрате. Готово. Озвучьте свои ответы пожалуйста.

EnglishAB: Eight. 9,758, this will take me a little bit of time, so bear with me. 95,218,564?

АБ: Восемь. 9758. Это займет некоторое время. 95 218 564?

EnglishAB: 321 is 103,041. 103,041. Yes? One more three-digit number please.

АБ: 321 в квадрате 103 041. Верно? Давайте следующее число.

EnglishAB: ’66 — turn to the calendar with 1966 — and what month?

АБ: 1966 – открываем календарь – Месяц?

EnglishAB: Multiply 22 times 47, make sure you get 1,034, or the calculators are not working.

АБ: Умножьте 22 на 47 и убедитесь, что результат 1034 или ваш калькулятор не работает. Все получили 1034?

EnglishAB: 722 is 500 — ooh, that’s a harder one.

АБ: 722 будет 500 – ох, это будет посложнее.

EnglishAB: I think I only heard five numbers.

АБ: Мне кажется, вы назвали только пять цифр.

EnglishAB: Seventh — would that be a Wednesday?

АБ: Седьмое – это была среда?

EnglishAB: Did you leave out the number 6?

АБ: Вы не назвали цифру 6?

EnglishAB: 987 squared is 974,169.

АБ: 987 в квадрате будет 974 169.

EnglishAB: 457 squared is 205,849.

АБ: 457 в квадрате будет 205 849.

EnglishAB: 23rd — was that a Monday?

АБ: 23 – Это был понедельник?

EnglishAB: Same as she did, OK.

АБ: Так же как и в первом случае.

EnglishAB: Sixth — was that a Sunday?

АБ: Шестое – Воскресенье?

EnglishAB: 1959, OK — and the month?

АБ: 1959, хорошо – месяц?

EnglishAB: Thank you very much.

АБ: Спасибо вам большое

EnglishAB: Does yours go higher?

АБ: Ваш может больше?

EnglishAB: 59 squared, OK, and finally?

EnglishAB: Thank you very much.

АБ: Больше спасибо.

EnglishAB: 1953, and the month?

АБ: 1953, и месяц?

A/B тестирование (сплит-тестирование): быть или не быть

Под лежачий камень вода не течет и лиды не приходят. Чтобы превратить драгоценный трафик, который приносит ваша реклама, в успешные продажи, нужно постоянно оптимизировать свой сайт. Улучшать пользовательский опыт, поведенческие показатели и коэффициент конверсии. Но как убедиться в том, что изменения, которые вы собираетесь внедрить, принесут ожидаемый результат? Для этого существует A/B (сплит) тестирование. В статье мы расскажем, что это такое, как его проводить и на какие нюансы стоит обратить внимание.

Если вам нужна помощь с внедрением метрик, сбором данных и запуском A/B тестов, команда OWOX BI готова поочь. Закажите демо, чтобы уточнить детали.

ЗАКАЗАТЬ ДЕМО

Содержание

бонус для читателей

Видео докладов с конференций: Analyze, GoAnalytics и Ecommerce

Скачать материал

Что такое A/B (сплит) тестирование

 A/B тестирование в маркетинге оно же сплит-тестирование (от англ. split testing) — это сравнение двух вариантов посадочной страницы, которые отличаются между собой одним параметром. Его цель — определить, какой из двух вариантов наиболее эффективный и приносит больше конверсий.

Допустим, вы продаете какое-нибудь программное обеспечение. У вас есть лендинг с описанием продукта и кнопкой для подписки на пробную версию, которая расположена в конце страницы. Чтобы увеличить количество подписчиков, вы решили добавить еще одну кнопку на первый экран — для тех, кто уже знает о вашем продукте или предпочитает пробовать сразу, а не читать подробные инструкции.

Чтобы проверить, сработает ли ваша гипотеза, вы создаете копию оригинального лендинга и добавляете на нее кнопку. Затем делите посетителей страницы на две части: одним показываете оригинальную страницу (вариант А), другим — усовершенствованную (вариант B). По окончании теста сравниваете показатели эффективности (в нашем примере это количество подписок) и определяете победителя.

Зачем проводить А/B (сплит) тестирование

Рассмотрим несколько основных проблем, которые помогает решить сплит-тестирование.

1. Лучше понимать своих пользователей и давать им то, чего они хотят. Как бы долго вы ни занимались электронной коммерцией и онлайн-маркетингом, будет ошибкой полагаться в этом вопросе исключительно на личный опыт.
 
Даже если кажется, что вы можете предугадать поведение пользователя на сайте и понимаете, как именно организовать контент, чтобы он максимально быстро двигался по воронке продаж, проведите A/B тест. Результаты могут вас удивить.

Как показывает практика, не всегда наши предположения совпадают с реальной картиной. Поэтому мы не можем решать, что лучше для клиента, основываясь лишь на собственных убеждениях.

2. Данные VS экспертное мнение.

Вторая проблема, вытекающая из первой — это целесообразность изменений на сайте и минимизация связанных с этим рисков.

Часто гипотезы строятся на основе личных взглядов, которые могут не совпадать со взглядами аудитории. В результате изменения, внедренные без предварительного А/В теста, не приносят желаемого эффекта или того хуже — снижают конверсию.

Поэтому, когда перед вами стоит вопрос, что использовать для принятия решений — данные или экспертное мнение, всегда выбирайте данные.

3. Персонализировать коммуникацию с клиентами. Существует много точек взаимодействия с клиентам: они пользуются различными устройствами, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары…

Сервисы веб-аналитики, такие как Google Analytics, Яндекс.Метрика и пр., помогают объединить эти данные и систематизировать знания о пользователе. Мы собираем информацию о том, на каких страницах они были, что делали. Это дает возможность разделить аудиторию по множеству признаков на несколько десятков или сотен сегментов и узнать, к примеру, как себя ведут пользователи, пришедшие с органики или с платного трафика.

Но мы не всегда правильно используем эту информацию и не выжимаем из нее максимум пользы. Простой пример: большинство онлайн-проектов до сих пор показывает один и тот же контент всем пользователям, независимо от их поведения и источников трафика:

Если вы тоже так делаете, сплит-тестирование поможет вам исправить ситуацию и персонализировать контент на сайте.

Основные этапы A/B (сплит) тестирования

Теперь давайте рассмотрим основные этапы и нюансы сплит-тестирования:

Этап 1. Выявить проблему

Первым делом вам нужно определить список слабых мест на сайте. Для этого вы можете:

• Изучить данные в Google Analytics и других системах веб-аналитики, посмотреть, у каких страниц высокий показатель отказов, небольшая глубина скроллинга или плохая конверсия.
• Использовать вебвизор и тепловые карты кликов, чтобы понять, как пользователи взаимодействую с элементами вашего сайта.
• Проанализировать обращения в службу поддержки или опросить действующих клиентов, чтобы узнать, чего им не хватает на сайте.
  

К примеру, вы посмотрели стандартную Enhanced Ecommerce воронку в GA и увидели, что у вас с карточки товара очень мало человек добавляет товар в корзину. При этом, если у вас есть офлайн-точка, и вы знаете, что в ней популярность товара высокая, то скорее всего что-то не так с вашим онлайн-магазином

Этап 2. Выдвинуть гипотезу

Когда вы определились, что исправлять, нужно подумать, как именно вы будете это делать. Без гипотезы A/B (сплит) тестирование не имеет смысла — ценность от выводов, которые вы получите, будет невелика. Вы должны четко представлять, с какой целью вы проводите эксперимент, какой элемент веб-страницы нужно протестировать, и каких количественных результатов хотите достичь.

При формулировании гипотезы отталкивайтесь от вашей конверсионной воронки. Спросите себя: «Что мне стоит поменять в той или иной части страницы, чтобы быстрее продвинуть пользователя по воронке?». В рамках одного теста проверяйте одну гипотезу, иначе будет сложно определить, какое именно изменение и в какой степени повлияло на конечный результат.

Что можно тестировать:

• Цвет, размер, текст и местоположение конверсионных кнопок.
• Заголовки — изменить текст, сделать его короче, интереснее и релевантнее содержимому страницы.
• Формы — можно сократить количество полей или добавить подсказки и примеры заполнения.
• Дизайн лендинга — изменить структуру страницы, шрифт или цветовую гамму.
• Контент — добавить качественные фото и видео, призывы к действию, акционные предложения, слово «бесплатно» и т.д.
  

Еще больше примеров вы найдете в статье «100 идей для A/B тестирования» часть 1, часть 2.

Выбор показателей для оценки эффективности зависит от гипотезы и целей, которых вы хотите достичь. Это могут быть: доход, количество покупок, коэффициент конверсии, средний чек, заявки и подписки, показатель отказов и другие метрики.

Этап 3. Проверить метрики

Следующим шагом вам нужно убедиться, что у вас внедрены и фиксируются все необходимые метрики, на основе которых вы будете делать выводы в конце теста. В своей работе мы сталкивались со случаями, когда клиенты выявили слабые места, определили гипотезы, но не прописали корректно систему метрик так, чтобы потом можно было понять, конверсия изменилась именно из-за этой кнопки, которую он поменял, либо из-за других факторов.

Этап 4. Запустить тест

Перед тем, как запускать эксперимент, рекомендуем вам учесть следующие факторы:

• Минимальный размер выборки — чтобы результаты теста были статистически значимыми и им можно было доверять, определите необходимое количество пользователей, которые должны участвовать в тестировании. Сделать это можно с помощью бесплатных онлайн-калькуляторов, например: Driverback или Optimizely. Допустим, конверсия у вашего исходного лендинга 5%, и вы ожидаете что, у тестового варианта страницы она достигнет 7%, значит минимальный видимый эффект в вашем случае составляет 40%. Вводите эти цифры в калькулятор и видите, что для тестирования нужно вам нужно минимум по 1965 человек на каждый вариант:

• Внешние факторы: сезонность, праздники, акции, погода, курс валюты и т.д. Чтобы они не исказили результаты эксперимента, важно показывать оба варианта страницы параллельно, в один и тот же период.
• В первую очередь тестируйте макроконверсии. Если вы поставили цель — посещение определенной страницы, вполне вероятно, что пользователь ее достигнет, но в финале не совершит транзакцию или не сделает другое целевой действие. Всегда нужно продумывать полностью вашу воронку, чтобы понимать, какое из действий пользователей на сайте наиболее приоритетное.
• Учитывайте тип устройства пользователей. Если вы запускаете эксперимент на весь трафик сайта, при этом у вас есть мобильная и десктопная версии, нужно проверить, как выглядит тестовый вариант на мобильном устройстве.
• Исключите внутренний трафик, чтобы действия сотрудников вашей компании на сайте не искажали статистику. Это можно сделать в Google Analytics с помощью фильтра по IP-адресу.
  

После этого вы можете запускать тест. Чуть ниже мы расскажем об инструментах, с помощью которых это делается.

Этап 5. Проанализировать результаты

По окончании эксперимента вы сравниваете и анализируете полученные результаты. К примеру, изначальный CR на вашем лендинге был 3%, вы предполагали, что можете увеличить его до 5%, а тестовый вариант показал 3,5%. То есть коэффициент конверсии хоть и увеличился, но совсем незначительно. Тут уже вам решать, стоит ли внедрять изменение на сайт или протестировать другую гипотезу.

Проверить, имеют ли результаты сплит-тестирования статистическую значимость, вы можете с помощью онлайн-калькулятора или статистических методов:

Прочитать подробнее, что такое статистическая мощность, длина выборки, доверительный интервал, статистическая значимость и как они считаются, вы можете в статье «Статистика в веб-аналитике, или Как стать настоящим Data Scientist».

Если тест прошел успешно и вы получили достоверные данные, выводите лендинг-победитель на сайт и приступайте к следующему эксперименту.

Возможные ошибки при анализе результатов тестирования:

• Преждевременная оценка результатов. Сплит-тест рекомендуется проводить не менее 14 дней. Из этого правила можно сделать исключение, если задача горит, вы тестируете незначительные изменения, которые глобально не влияют на функционал сайта (например, поменяли цвет кнопки), и при этом используете Google Optimize. Если вы видите в отчете, что новый вариант побеждает с вероятностью 80-90%, можно остановить эксперимент — показатели уже вряд ли кардинально изменятся.
• Оценка результатов при пороге достоверности менее 95% — это еще одна метрика из отчетов Optimize. Когда вы проводите эксперимент, сервис считает, какова достоверность конечного результата. Если она будет ниже 95%, эксперимент останавливать не рекомендуется. Этот порог вы можете увидеть во вкладке с активным экспериментом.
• Игнорирование результатов теста как незначительных. Кто же не хочет увеличить конверсии сразу в 2 раза?! Но даже такой скромный, на первый взгляд, CR в 2-3% — это уже неплохой результат. Особенно, если изменения на лендинге были небольшие.
• После теста нужно проверить глобальные показатели по сайту, а не только те, которые вы выбрали в рамках эксперимента. Одного параметра может быть недостаточно, чтобы оценить эффект от изменений. К примеру, средний чек может уменьшиться, а общая выручка вырасти за счет повышения коэффициента конверсии. Поэтому важно контролировать все взаимосвязанные KPI.

Инструменты для A/B (сплит) тестирования

Для запуска теста необходимо создать тестовый вариант страницы, сегментировать аудиторию и посчитать целевые метрики для каждой их них отдельно. Если у вас есть навыки программирования и достаточно ресурсов, вы можете запустить А/B тест вручную. Но проще и удобнее делать это с помощью специальных сервисов.

Мы подготовили для вас небольшую таблицу, в которой сравнили популярные инструменты для сплит-тестов:

	Google Optimize	Changeagain	VWO	Optimizely	Convert	ABtasty
Интеграция с Google Analytics	✓	✓	✓	Х	✓	✓
Визуальный редактор	✓	✓	✓	✓	✓	✓
Цели Google Analytics	✓	✓	Х	Х	Х	Х
Таргетинг	Большое количество критериев для таргетинга	Таргетинг по устройствам, странам	Более 15 критериев	Более 15 критериев	Более 35 критериев	7 критериев
Наличие бесплатной или демоверсии	Бесплатная версия, до 5 тестов одновременно	Бесплатная версия для 1 эксперимента на 1 сайт. Демоверсия 30 дней	Демоверсия 30 дней, но трафик ограничен: 1 тыс. посетителей	Бесплатная версия для 1 сайта и 1 мобильного приложения. Функционал ограничен	Демоверсия 15 дней	Демоверсия 30 дней

Мы в OWOX BI используем для сплит-тестирования страниц Google Optimize, поэтому подробнее остановимся на особенностях именно этого инструмента.

A/B тестирование с Google Optimize

Optimize — это онлайн-сервис для тестирования, который подключается к вашему веб-сайту и позволяет экспериментировать с различными способами отображения контента.

Optimize позволяет использовать данные, которые вы накопили в Google Analytics, чтобы предлагать пользователю тот вариант страницы, который будет наиболее удобным для него и результативным для вашего бизнеса.

Плюсы Optimize

• Полнота данных — для настройки и анализа эксперимента можно использовать цели и сегменты из Google Analytics. Вы будете работать с привычными метрики из GA, которые так знаете и любите.
• Широкие возможности для персонализации — после успешного сплит-теста вы можете настроить показ различного контента, используя аудитории GA и переменные, которые внедрены, например в dataLayer в GTM. Если эксперименты позволяют улучшить производительность вашего сайта для среднестатистического пользователя, то персонализация, основываясь на информации которую мы знаем о пользователе, позволяет достичь еще большей производительности в рамках каждого сегмента.
• Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio,Tag Manager и т.д.)
• Удобный интерфейс, в котором легко разобраться. Есть визуальный редактор, благодаря которому настраивать и запускать новые эксперименты можно без привлечения разработчиков. Это существенно сокращает срок проведения эксперимента.
• Минимально влияет на скорость загрузки страницы.
• Не нужно вручную сводить данные готовить отчеты и применять статистические формулы для проверки результатов — сервис все делает сам.

Недостатки Optimize

• Пока сервис невозможно использовать для тестирования мобильных приложений.
  
• Нет расписания запуска сплит-тестирования. Невозможно заранее запрограммировать, когда сплит-тест будет запущен. То есть, если вы хотите подготовить несколько десятков тестов, но не можете по определенным причинам запускать их одновременно, или есть ограничения бесплатной версии на количество одновременных тестов, или вы не хотите проводить на одной и той же аудитории тестирование нескольких десятков вариантов, то для вас этом может стать проблемой. Нужно будет в момент запуска теста еще раз зайти в интерфейс. Это не очень критичный недостаток, но тем не менее в некоторых других сервисах такая возможность есть.
  

Как работает Google Optimize

По принципу работы Google Optimize похож на другие инструменты для проведения экспериментов и персонализации:

1. Сначала нам необходимо создать варианты страниц, блоков pop-up-ов или других объектов, которые мы будем показывать пользователю.
2. Дальше нужно определить цели (метрики), с помощью которых мы будем определять вариант-победитель. Это могут быть как встроенные в Optimize метрики: количество просмотров страниц, длительность сессии, транзакции, доход и показатель отказов, так и любая кастомная цель из GA.
3. После этого нам необходимо определить аудиторию, которая будут участвовать в эксперименте и запустить его. На этом этапе вы должны определиться, насколько вы можете рисковать, показывая тестовый вариант пользователям. Вы можете распределить трафик между двумя вариантами поровну либо, к примеру, 20% на 80%. Плюс еще на этом этапе вы должны выбрать, какой части аудитории, которая посещает ваш сайт, вы будете показывать эксперимент. Показывать всем, либо взять 20% и уже на них распределять ваши два варианта. Зачем это нужно? На случай, если у вас крупный магазин, вы не уверены в своей гипотезе и не хотите рисковать половиной трафика.

Кроме классических A/B (сплит) тестов в Optimize можно запускать мультивариативные тесты (когда у вас несколько меняющихся элементов во множестве комбинаций) и редирект тесты (для страниц с разным URL и дизайном).

Ознакомиться подробнее с интерфейсом и настройками сервиса вы можете в статье «Как провести свой первый А/B тест: автоматизируем процесс с Google Optimize».

Анализ результатов

Благодаря отчетам в Google Optimize вы можете наблюдать за результатами по ходу эксперимента и анализировать собранные данные сразу после его окончания.

Термины в отчетах Optimize:

• Improvement — вероятный диапазон для коэффициента конверсии.
• Probability to be best — вероятность, что этот вариант лучше всех остальных.
• Probability to beat baseline — вероятность, что этот вариант принесет коэффициент конверсии лучше, чем оригинал.
• Conversion Rate — прогнозируемый средний коэффициент конверсии.
• Conversions — количество сессий с конверсиями.

Как определяется победитель

Optimize использует для расчета вероятности Байесову статистику. Если не углубляться в детали, то для пользователя это означает, что во время эксперимента в отчетах Optimize можно увидеть вероятность того, что вариант B будет победителем еще до окончания эксперимента. Если вероятность достигла определенного уровня, можно досрочно закончить эксперимент и сэкономить время и деньги бизнеса.

Кроме того, команда Google планирует реализовать в Optimize механизм перераспределения трафика в пользу лучшего варианта до окончания эксперимента. Это позволит сэкономить ваши деньги так, как меньше пользователей во время теста увидят неэффективный вариант.

Если вы интегрируете Optimize со своим аккаунтом Google Analytics, то сможете просматривать и анализировать результаты тестов в интерфейсе GA, меню «Поведение» — «Эксперименты»:

Ссылки на полезные материалы по сплит-тестированию

P. S. Если вам нужна помощь с запуском A/B тестов и созданием индивидуальной системы метрик для вашего бизнеса, напишите нам на email [email protected] или заполните форму на сайте, или запишитесь на демо.

Запись на демо

Как не надо анализировать A/B тесты. Проблема подглядывания

При дизайне, запуске и анализе A/B тестов можно допустить много ошибок, но одна из них особенно коварна. Эта ошибка – побочный эффект проверки результатов A/B теста c готовностью действовать на их основе до его окончания. Ее называют «Peeking problem» или «Проблема подглядывания».

Интересная особенность этой ошибки в том, что ее допускают те, кто уже достаточно далеко ушел в изучении науки A/B тестирования, например, научился считать, является ли наблюдаемая разница статистически значимой или нет.

---

Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор, образовательный продукт от GoPractice, вам в этом поможет.

Подписывайтесь на каналы «GoPractice!» и «GoPractice! Insights», добавляйтесь в чат «Ask Kevin!» в телеграме.

---

Статистическая значимость простыми словами

Вы привлекли в игру 10 новых пользователей и случайно разделили их между старой и новой версией. Из 5 пользователей, которые попали в старую версию игры, на следующий день вернулись 2 (40%). Из 5 пользователей, которые попали в новую версию, на следующий день вернулись 3 (60%).

Можно ли на основе собранных данных сказать, что Retention 1 дня новой версии игры лучше, чем старой?

К сожалению, нельзя. Выборка очень маленькая, поэтому велика вероятность, что наблюдаемая разница – случайность, а не результат влияния изменений.

Математическая статистика предоставляет инструменты, помогающие понять, можно ли различие в метрике между группами связать с изменениями продукта, а не со случайностью. Другими словами, является изменение статистически значимым или нет.

Способ проверки статистической значимости в рамках частотного подхода к теории вероятности, которому обычно учат в университетах, работает следующим образом:

1. Собираются данные для версии A и B.
2. Делается предположение, что тестовые группы между собой не отличаются.
3. В рамках предположения идентичности групп считается, какова вероятность получить наблюдаемую в эксперименте или большую разницу между группами. Такое значение называют p-value.
4. Если p-value меньше определенного порогового значения (обычно 5%), то изначальное предположение об идентичности тестовой и контрольной группы отвергается. В этом случае можно с высокой степенью уверенности утверждать, что наблюдаемая разница между группами значима (связана с их различиями, а не случайностью).
5. Если p-value больше порогового значения, то тестируемые версии на основе собранных данных неразличимы. При этом в реальности между ними как может быть различие, которое мы просто не выявили, так его может и не быть. Мы не знаем.

Это очень поверхностное объяснение основной идеи проверки статистической значимости. В реальности все сложнее: необходимо изучить структуру данных, очистить их, выбрать правильный критерий, интерпретировать результаты. Все эти шаги таят в себе много подводных камней.

Простой пример расчета статистической значимости

Давайте вернемся к игре из прошлого примера.

Команда учла недостатки дизайна первого A/B теста, и на этот раз привлекла 2000 новых пользователей (по 1000 в каждую из версий). На 1 день в первой версии вернулись 330, а во второй 420.

Во второй версии больше пользователей вернулись на 1 день, но команда не могла быть уверена, что это произошло из-за влияния продуктовых изменений, а не в результате случайного колебания метрики.

Для разрешения вопроса надо было посчитать, является ли наблюдаемая разница в Retention 1 дня статистически значимой или нет.

В данном случае изучалась простая метрика (конверсия новых пользователей в определенное действие – возвращение на 1 день), поэтому можно было воспользоваться онлайн калькулятором для расчета статистической значимости.

Калькулятор выдал p-value < 0.001, то есть вероятность увидеть наблюдаемое различие при идентичных тестовых группах очень мала. Значит, можно с высокой степенью уверенности связать рост Retention 1 дня с влиянием продуктовых изменений.

Автоматизация проверки результатов A/B теста c неожиданными последствиями

Команда, воодушевленная прогрессом с Retention, решила переключиться на улучшение монетизации игры. И сначала решили сфокусироваться на увеличении конверсии в первую покупку. Спустя 2 недели новая версия игры ушла в A/B тест.

Разработчики проявили инициативу и написали скрипт, который каждые несколько часов считал конверсию в первую покупку для тестовой и контрольной версии и проверял, является ли разница значимой.

Спустя несколько дней система выдала сообщение о наличии значимой разницы. Эксперимент признали успешным и новую версию раскатили на всех пользователей.

Вы могли не заметить, но в процесс анализа эксперимента закралась коварная ошибка.

Peeking problem или проблема подглядывания

Применение стандартных критериев в рамках частотного подхода к статистике (Хи-квадрат, критерий Стюдента), которые используются для расчета p-value и статистической значимости, требуют выполнения различных условий. Например, многие критерии подразумевают нормальное распределение изучаемой величины.

Но есть еще одно важное условие, о существовании которого многие забывают: размер выборки для эксперимента должен быть определен заранее.

Вы должны заранее решить, сколько наблюдений хотите собрать. Потом посчитать результаты и принять решение. Если вдруг выявить значимую разницу на собранном количестве данных не получилось, то продолжать эксперимент с целью сбора дополнительных наблюдений нельзя. Можно только запустить тест заново.

Описанная логика звучит странно в контексте A/B тестов в интернете, где можно смотреть на результаты в режиме реального времени, где добавление новых пользователей в эксперимент ничего не стоит.

Дело в том, что используемый для A/B тестов математический аппарат в рамках частотного подхода к статистике разрабатывался задолго до появления интернета. Тогда большинство прикладных задач подразумевало фиксированный и заранее определенный размер выборки для проверки гипотезы.

Интернет поменял парадигму A/B тестирования. Вместо выбора фиксированного размера выборки перед запуском эксперимента большинство предпочитают собирать данные, пока разница между тестом и контролем не станет значимой. Следствием такого изменения в процедуре проведения экспериментов стало то, что расчеты p-value старыми способами перестали работать. Реальное p-value при регулярной проверке результатов теста становится намного больше, чем то p-value, что вы получаете, используя обычные статистические критерии, которые при такой процедуре перестают работать.

Важно. Проблема подглядывания проявляется, когда вы проверяете промежуточные результаты с готовностью принять решение: раскатить одну из версий, если различие между тестом и контролем окажется значимым. Если вы зафиксировали размер выборки и просто наблюдаете за результатами в процессе набора наблюдений (и ничего не делаете на их основе), а потом принимаете решение, когда набралось нужное количество данных, то никаких проблем не возникает.

Правильная процедура A/B тестирования (в рамках частотного подхода):

Неправильная процедура A/B тестирования:

Почему подглядывания увеличивают p-value

Давайте вернемся к эксперименту про конверсию в первую покупку в игре. И предположим, что мы знаем, что в реальности сделанные изменения не имели никакого влияния.

Ниже изображена динамика разницы конверсий в покупку между тестовой и контрольной версиями продукта (синяя линия). Зеленая и красная линия отражают границы диапазона неразличимости при условии, что заранее было выбрано соответствующее количество наблюдений.

При правильном процессе A/B тестирования надо заранее определить количество пользователей, на основе которых будет оцениваться результат, собрать наблюдения, посчитать результаты и сделать вывод. Такая процедура гарантирует, что при многократном ее повторении в 95% случаев критерий не увидит разницы между одинаковыми версиями (при соответствующем уровне доверия).

Все сильно меняется, если вы начинаете проверять результаты с определенной частотой и готовы при наличии различий действовать. В таком случае вместо вопроса о том, является ли разница значимой в определенный заранее выбранный момент в будущем, вы спрашиваете, выходит ли разница за диапазон неразличимости хотя бы раз в процессе сбора данных. Это два совершенно разных вопроса.

Даже если две группы идентичны, то разница конверсий может периодически выходить за границы зоны неразличимости по мере накопления наблюдений. Это совершенно нормально, так как границы сформированы так, чтобы при тестировании одинаковых версий лишь в 95% случаев разница оказывалась в их пределах.

Поэтому при регулярной проверке результатов в процессе проведения теста с готовностью принять решение при наличии значимой разницы вы начинаете кумулятивно накапливать возможные случайные моменты, когда разница выходит за пределы диапазона. Следствие – p-value растет с каждой новой проверкой.

Если объяснение выше непонятно, то тут приводится наглядный пример того, как именно подглядывания увеличивают на p-value.

Влияние подглядываний на p-value

Чем чаще вы смотрите на промежуточные результаты A/B теста с готовностью принять на их основе решение, тем выше становится вероятность, что критерий покажет значимую разницу, когда ее нет:

• 2 подглядывания с готовностью принять решение о завершении теста увеличивают p-value в 2 раза;
• 5 подглядываний в 3.2 раза;
• 10 000 подглядываний более чем в 12 раз.

Варианты решения проблемы подглядывания

Фиксировать размер выборки заранее и не проверять результаты, пока все данные не собраны

Очень правильный и очень непрактичный подход. Если эксперимент не даст никакого сигнала, то придется все начинать заново.

Математические пути решения проблемы: Sequential experiment design, байесовский подход к A/B тестированию, снижение чувствительности критерия

Проблема подглядывания может быть решена математическим путем. Например, Optimizely и Google Experiments используют для ее решения микс байесовского подхода к A/B тестированию (до этого мы все обсуждали в рамках частотного подхода, подробнее о разнице байесовского и частотного подходов по ссылкам в конце статьи) и Sequential experiment design.

Для сервисов вроде Optimizely – это необходимость, так как их ценность сводится к тому, что они определяют лучший вариант на основе регулярной проверки результатов A/B теста на лету. Подробнее можно почитать по следующим ссылкам: Optimizely, Google.

Каждый из описанных методов провоцирует длинные дискуссии в сообществе о его плюсах и минусах. В детали вдаваться не будем, в конце статьи есть ссылки для более глубокого изучения.

Продуктовый подход с мягким обязательством по времени теста и коррекцией на суть проблемы подглядывания

При работе над продуктом ваша цель – получить сигнал, необходимый для принятия решения. Описанная ниже логика неидеальна с математической точки зрения, но решает продуктовую задачу.

Суть подхода сводится к предварительной оценке необходимой выборки для выявления эффекта в A/B тесте и учету природы проблемы подглядывания в процессе промежуточных проверок. Это позволяет минимизировать негативные последствия при анализе результатов.

Перед стартом эксперимента стоить оценить, какая нужна выборка, чтобы с приемлемой вероятностью увидеть изменение, если это изменение в реальности есть.

Это полезное упражнение безотносительно проблемы подглядывания, так как для некоторых продуктовых фич требуется столь большая выборка, чтобы идентифицировать их эффект, что тестировать их на текущем этапе развития продукта нет смысла.

Держа в уме посчитанную ранее выборку, после запуска эксперимента можно (и даже нужно) следить за динамикой изменений, но не принимать решений, при первом выходе разницы в зону значимости (мы же ведь уже знаем про проблему подглядвания).

Нужно продолжать наблюдать. Если разница зафиксируется, то, скорее всего, влияние есть. Если же станет вновь неразличимой, то сделать однозначного вывода об улучшении нельзя.

Давайте посмотрим на результаты двух экспериментов ниже. Оба эксперимента шли 20 дней, каждая точка на графике — относительная разница в метрике между тестом и контролем на конец соответствующего дня с доверительным интервалом. Если доверительный интервал не пересекает ноль (идентично выполнению условия p-value < x), то разница является значимой (при выборе соответствующей выборки заранее). В этом случае точка выделяется зеленым.

В первом эксперименте, начиная с 6 дня, разница между версиями стала значимой и доверительный интервал больше не пересекал 0. Такая устойчивая картина дает четкий сигнал о том, что с высокой степенью вероятности тестовая версия работает лучше контрольной. Сложностей с интерпретацией результатов нет.

Во втором эксперименте разница иногда выходила в зону значимости, но потом вновь становилась неразличимой. Если бы мы не знали о проблеме подглядывания, то мы закончили бы эксперимент на 4 день, решив, что тестовая версия выиграла. Но предложенный способ визуализации динамики A/B теста во времени показывает, что устойчивой измеримой разницы между группами нет.

Возможны пограничные случаи, когда однозначно интерпретировать результаты сложно. Единого способа их разрешения нет, все зависит от рискованности и стоимости принимаемого решения.

• Есть обычные эксперименты, где вы тестируете разные реализации фичи или небольшие изменения, и готовы принимать решение с бОльшей степенью риска.
• Есть дорогие решения, когда вы, например, пытаетесь проверить новый вектор развития продукта. В этом случае стоит уделить анализу и изучению данных больше времени. Иногда можно и провести эксперимент еще раз.

Кто-то скажет, что описанная логика – излишнее упрощение, что так делать нельзя. С математической точки зрения – возможно, с продуктовой – вполне можно.

Когда в продуктовой работе начинают больше заниматься математикой, чем продуктом, то обычно дело в том, что эффект от изменений слишком мал или отсутствует. А эту проблему математикой не решить.

В заключение

Вы запутались в статье и нет сил разбираться? Тогда вынесите из нее следующую мысль.

Если вы проводите A/B тест и в определенный момент разница стала значимой, то не надо сразу заканчивать эксперимент, считая, что одна из групп выиграла. Продолжайте наблюдать. А лучше заранее выберите размер выборки, соберите наблюдения, а потом на их основе посчитайте результаты.

P.S. Если вы хотите научиться управлять продуктом на основе аналитики и данных, то Симулятор (новый образовательный продукт от Go Practice) вам в этом поможет.

Дополнительное чтение

• Хорошая статья про peeking problem.
• Еще одна хорошая статья про проблему подглядвания, но с ошибочным утверждением, что использование байесовский подхода ее решает.
• Сравнение байесовского и частотного (frequentist) подходов простым языком.
• Математическим языком про разницу байесовского и частотного подходов.
• Наглядное объяснение, что байесовский подход к A/B тестам не решает проблему подглядывания от команды Stack Exchange.
• Еще одна статья про то, что байесовский подход чувствителен к подглядываниям, а также о том, как проблему решают разные сервисы A/B тестов на рынке.
• Обсуждение плюсов и минусов bayesian vs frequentist подходов к математической статистике на Reddit.
• Статья от Optimizely про их подход решению проблемы подглядывания.
• Много интересного про Sequential анализ для A/B тестов — тут, тут и тут.
• Статья про то, как растет p-value при мониторинге результатов с готовностью принять решение.

что это, как и зачем проводить

А/В-тестирование – это маркетинговый инструмент, с помощью которого можно повысить эффективность работы сайта. Его также называют сплит-тестированием (Split Testing). Данный метод предназначен для улучшения конверсии, средней величины чека, времени пребывания на сайте, снижения процента отказов и т. д.

Суть А/В-тестирования заключается в сравнении контрольной страницы А (оригинал) и ее созданного аналога В (новая страница) с внесенными изменениями. Весь трафик делится между страницами А и В. Затем сравниваются основные показатели. Если новая версия оправдала ожидания и, например, конверсия увеличилась, тогда весь трафик направляют на страницу В.

В дальнейшем, когда будут тестироваться новые изменения, улучшенная версия будет выступать в роли контрольной страницы А.

При работе со сплит-тестированием важно грамотно оценивать метрики контрольной и новой страниц, а также правильно распределять трафик (не всегда его нужно делить 50 на 50). Кроме того, для корректной работы нужно исключить влияние сегментов друг на друга, снизить воздействие внешних и внутренних факторов. Тестирование необходимо проводить параллельно и в одинаковых условиях.

А/В-тестирование не всегда используется для улучшения посадочных страниц сайта. Его возможности позволяют провести тесты и в других местах.

Как провести А/В-тестирование

Рассмотрим пример. Пользователю необходимо повысить конверсию посадочной страницы, трафик на которую идет через контекстную рекламу. Сейчас данный показатель составляет 2,5 %. Чтобы добиться увеличения, пользователь хочет изменить дизайн страницы. Он создает новую страницу В и ведет туда часть трафика. В результате на странице с новым дизайном конверсия выросла до 3 % вместо планируемых 4 %. Чтобы увеличить конверсию еще больше, можно изменить текст на странице, например придумать новый призыв к действию. Теперь в роли контрольной страницы А будет выступать страница с новым дизайном. В данном примере аналогичным образом можно попробовать изменить сами объявления КР (заголовки, тексты и т. д.), поработать над их релевантностью, так как основной трафик поступает именно оттуда. При использовании А/В-тестирования важно получить объективные данные и статистику.

Что тестировать

А/В-тестирование – это прикладной метод. Он влияет на различные метрики, поэтому выбирать, что менять, нужно на основании поставленных целей и задач.

Чаще всего тестируются следующие компоненты страниц.

• Заголовки. Шрифт, цвет, расположение, содержание, их количество – все это влияет на удержание и привлечение внимания посетителя сайта. Порой одно лишь изменение шрифта заголовка помогает улучшить внешний вид всей страницы.
• Текст. Аналогично заголовкам. Текст должен быть читабельным и визуально приятным. Количество текста, его шрифт, цвет, расположение – все это имеет не меньшее значение, чем само содержание.
• Кнопки. Как правило, кнопки являются главным элементом, который привлекает внимание пользователей. Поэтому изменение внешнего вида, их расположение, оформление могут изменить показатели в лучшую сторону.
• Изображения. Используйте качественные и красивые изображения. Не важно, будь то фото товара или фоновая картинка лендинга. Даже мельчайший сдвиг картинки может полностью изменить визуальное восприятие.
• Дизайн страницы. Плохой дизайн зачастую оказывается тем фактором, который способствует большому числу отказов. Тестируйте новые макеты, шаблоны как всего сайта, так и его отдельных элементов. Ищите наиболее продуктивный вариант.
• Бизнес-предложения и цены. Тестировать можно не только внешний вид страницы. Создать новое бизнес-предложение иногда бывает эффективнее, чем кропотливо менять дизайн, тексты, кнопки и месяцами добиваться улучшения конверсии.

Это лишь наиболее часто тестирующиеся компоненты. На практике же изменениям подвергается все, что, по мнению руководителей, способно увеличить продажи.

Сервисы

Чтобы проводить сплит-тесты, маркетологи используют следующие сервисы:

• Content Experiments,
• Optimizely,
• ABTest.ru,
• RealRoi.ru,
• Visual Website Optimizer,
• Unbounce.

Смазка-спрей AB-8 в новом объеме! — это новости от abro-ind.ru

Дорогие друзья ABRO!

Спешим сообщить вам о пополнении нашего ассортимента. Теперь смазка-спрей универсальная АВ-8 выпускается в объеме 100 и 200 мл, помимо 450 мл, предлагаемых к продаже обычно. Нелишним будет расширить представление об уникальных возможностях этой смазки у тех, кто уже пользуется ею, и рассказать об этих возможностях тем, кому предстоит сделать свой выбор.

  

Сильная формула смазки-спрея универсальной АВ-8 является новейшей разработкой, в ее основе лежит американская инновационная технология. Создатели модернизировали состав и теперь, помимо усиления основных качеств, смазка пахнет ванилью! И если для производственного использования запах не имеет особого значения, то при использовании дома отсутствие неприятного химического запаха – весомый бонус.

 

Сферы применения смазки-спрея универсальной АВ-8 от ABRO охватывают практически все виды производств, строительства, ремонта, хозяйственной деятельности человека и обусловлены ее свойствами. А именно:

 

— смазка надежно смазывает механизмы, обеспечивая мягкий ход замков и любых трущихся деталей и улучшая скольжение;

 

-эффективно вытесняет влагу: осушает и восстанавливает электроизоляцию системы зажигания двигателя и электрооборудования, защищает от коротких замыканий, образует защитный барьер;

 -глубоко проникает, позволяет освободить приржавевшие и заклинившие элементы крепежа;

 

-очищает поверхности от грязи, смолы, битума;

 -защищает от коррозии – предохраняет металлические поверхности от образования коррозии и окисления даже в условиях повышенной влажности.

 

 

А теперь представим себе: сколько нас окружает  металлических поверхностей, подверженных коррозии, или всевозможных замков и замочков, которые могут замерзнуть или заклинить, или электроприборов и электрооборудования, механизмов, и так далее.

А наш любимый и незаменимый автомобиль? И еще вспомним о климатических и иных условиях, в которых все это для нас работает. Становится очевидно, что с помощью смазки-спрея универсальной АВ-8 ABRO можно решить много проблем, и не меньше предотвратить.

  

ABRO заботится не только о качестве своей продукции, но и о максимальной доступности и удобстве для своих потребителей. Поэтому цена вас порадует, а при правильном хранении нашей смазки-спрея срок ее годности не ограничен. А три различных объема упаковки (100, 200 и 450 мл) позволяют приобрести это сверхполезное средство по максимально выгодной цене, исходя из потребностей – будь то производственные нужды или бытовое использование.

 

ABRO заботится не только о качестве своей продукции, но и о максимальной доступности и удобстве для своих потребителей. Поэтому цена вас порадует,  а три различных объема упаковки (100, 200 и 450 мл) позволят приобрести это сверхполезное средство по максимально выгодной цене, исходя из потребностей – будь то производственные нужды или бытовое использование.

 

 В заключение хочется поделиться некоторыми неочевидными идеями использования смазки-спрея универсальной АВ-8 в быту:

 

 -вытащить застрявший палец из отверстия или снять тугое кольцо;

 

-смазать заевшую застежку-молнию;

 

-предотвратить налипание снега на окна или инструмент;

 

-отпугнуть насекомых (тараканов или муравьев).

 

Мы уверены, что, пользуясь нашей смазкой-спреем универсальной АВ-8, вы откроете много других возможностей ее применения, и ваше доверие к  ABRO останется неизменным.    

тестирование — что это, как и для чего проводить A/B тест сайта

Содержание статьи

1. Что такое A/B тестирование
2. Сервисы для А/В тестирования
3. Как проводить A/B-тестирование в Google
4. Как тестировать варианты страниц
5. Основные этапы A/B тестирования
6. Рекомендации по A/B-тестированию
7. Выводы

Конкуренты не дремлют. Чтобы бизнесу выжить в онлайн-сфере, успешно завоевывать внимание аудитории и обходить аналогичные проекты, нужно развиваться. В противном случае сайт начнет деградировать.

Для развития используют разные методы: расширяют ассортимент, улучшают дизайн ресурса, прорабатывают юзабилити, пишут новые продажные статьи. Но как заблаговременно узнать, что эти нововведения действительно принесут результаты и не станут напрасной тратой времени и денег?

Что такое A/B тестирование

A/B тестирование — это инструмент помогает развивать сайт и проверять гипотезы. Разработчикам удается путем экспериментов оценить предпочтения аудитории, чтобы решиться на изменения или оставить все как есть. А/Б тестирование, или как его еще называют, сплит-тестирование, представляет собой своеобразный способ оптимизации воронки сайта.

Рассмотрим подробнее то, как работает инструмент, для чего проводят такие тесты и каким образом реализуются задачи.

Как работает A/B-тестирование?

Если вкратце, то сплит-тесты позволяют оценить эффективность разных вариантов страницы. Допустим, у вас есть два примера дизайна карточки товара, и они оба ну очень круты. Какой из них выбрать? Основываться на интуиции — не лучшее решение. Проверьте работоспособность обоих вариантов на практике посредством тестирования сайта. Покажите одной части посетителей карточку №1, а другой — №2. Победителем становится тот, у кого показатели отклика выше.

Это далеко не единственный метод применения AB-тестов. Инструмент помогает проверять всевозможные гипотезы, удобство обновленной структуры, различные варианты текстов и многое другое.

Зачем нужны А/B (сплит) тесты

Электронная коммерция сражается с оставленными корзинами, b2b страдают от «пустых» лидов, а СМИ не могут повысить вовлеченность читателей. Все эти сферы объединены схожими проблемами: падением конверсии, потерей клиента на стадии оплаты заказа и проч.

A/B testing поможет выйти из сложной ситуации, а именно:

1. Решит проблемы посетителей. Пользователи заходят на ресурс с определенной целью: узнать о товаре подробнее, что-то приобрести или просто посмотреть. При этом посетители сайта сталкиваются с типичными сложностями. К примеру, кнопка «Заказать» находится в неудобном месте или ее трудно найти. Подобные моменты негативно сказываются на опыте пользователей и точно так же сказываются на конверсии.
2. Повысит окупаемость инвестиций. Бессмысленно рассказывать маркетологу о том, каким дорогим оказывается качественный трафик. Он давно все это знает. Тестирование и аналитика сайта обеспечивают более эффективное использование текущего трафика и повышают конверсию без расходов на привлечение нового. Порой даже мелкие корректировки положительно влияют на метрики.
3. Снизит количество отказов пользователей. Чтобы оценить результативность работы сайта, важно анализировать этот показатель. Люди закрывают страницу ресурса по разным причинам: несоответствие ожиданиям, неудобная форма заказа, сложности с поиском товара и т. д. С помощью тестирования можно создать несколько вариантов расположения элементов и проверить, какой из них работает лучше. Если увидели положительную динамику, можно вносить глобальные изменения.
4. Минимизирует риски от корректировок. Эксперты советуют вносить изменения дозированно и последовательно, чтобы не потерять показатель конверсии. Например, понадобилось внедрить новую функцию на сайт. Проведите тестирование и посмотрите, какой из вариантов получился более выигрышным.
5. Обеспечит статически значимые улучшения. A/B анализ базируется на конкретных сведениях, а не на гадании на кофейной гуще. Вы с легкостью можете определить выигрышный вариант изменений на основе статически значимых улучшений: время пребывания на странице, число оставленных корзин и т. д.
6. Поможет усовершенствовать дизайн. Масштабы редизайна бывают разными: от замены пары цветов до полного преображения ресурса. Необходимо выбирать решение только по итогам сплит-тестов. Сначала внесли небольшое изменение, протестировали и убедились, что оставили лучшую версию.

A/B-тестирование — нужная мера, и это вне всяких сомнений. Оно поможет привести показатели сайта к желаемым и гарантировать, что потраченные на изменения деньги и время будут оправданы.

Сервисы для А/В тестирования

Маркетологи выполняют сплит-тесты при помощи специализированных инструментов. Самый востребованный — Google Optimize. Он помогает тестировать определенные элементы страниц, в том числе заголовки, шрифты, картинки и проч. Есть бесплатный вариант инструмента, что и делает его популярным на фоне конкурентов.

Другие сервисы для тестирования страниц:

• Optimizely — платный инструмент. В нем можно создавать эксперименты в визуальном интерфейсе, благодаря чему специалистам не требуется работать с HTML-кодом. Точная цена использования инструмента нигде не указывается, поэтому лучше уточнить ее в отделе продаж;
• Visual Website Optimizer — еще один платный сервис для тестирования элементов страниц. В работе специалисту понадобится понимание HTML. Месяц подписки на сервис будет стоить от $99 до $999;
• Unbounce — инструмент, при помощи которого удобно создавать и оптимизировать лендинги, проводить сплит-тесты. В месяц за подписку придется тратить от 79 до 399 у. е. и больше;
• Convert.com — находится в числе самых популярных среди отечественных маркетологов. Привлекает продвинутым таргетингом и возможностью отслеживать одновременно несколько метрик.

Тонкости проведения сплит-тестов во многом зависят от интерфейса и особенностей сервиса. Но в целом алгоритм действий будет одинаковым.

Как проводить A/B-тестирование в Google

Проводить тесты с помощью нескольких разных сервисов — это трудоемко, сложно и дорого. Лучше сосредоточиться на одном проверенном. К примеру, воспользоваться популярными сервисами от Google.

A/B тесты в Google Analytics

В этом сервисе есть удобная вкладка — «Эксперименты». Находится она в пункте «Поведение». Зайдите в «Эксперименты», введите урл страниц, участвующих в тестах, и получите код для вставки.

Обратите внимание: скрипт нужно добавлять только на исходную страницу!

Перейдите к запуску теста.

Примечательно, что Google А/Б тестирование не воспринимает как маскировку и накрутку. Наоборот, разработчики относятся к экспериментам нейтрально.

A/B тестирование с Google Optimize

Этот сервис используется в связке с Google Analytics: отсюда берутся сведения по показателям: доход, число транзакций и проч. Если описывать кратко работу в Google Optimize, схема будет выглядеть так:

1. Зарегистрируйте аккаунт и определите тип эксперимента.
2. Для настройки теста создайте варианты страниц и задайте распределение трафика на них.
3. Свяжите Optimize с Analytics.
4. Настройте цели в этом сервисе или выберите до этого заданные в Analytics.
5. Введите настройки таргетинга — условия, при которых активируется эксперимент.
6. Задайте код посредством Google Tag Manager.
7. Введите в коде сайта скрипт, который скроет замену элементов.

Поскольку инструмент бесплатный, за раз вы можете запустить не больше 5 тестов и сделать до 10 подмен. Если нужно работать неограниченно, воспользуйтесь платным Google Optimize 360. В целом малому и среднему бизнесу хватает возможностей бесплатной версии.

Как тестировать варианты страниц

Узнаем об этом на примере все того же Google Optimize.

Отличия при настройке разных экспериментов будут находиться в разделе «Таргетинг и варианты».

Для многовариантного теста вы проверяете комбинации элементов (до 16 шт.). Потребуется:

1. Указать названия разделов. Изначально выставлены имена «А» и «В». Если по эксперименту требуется больше, добавьте варианты кнопкой «Добавить раздел» и каждый назовите.
2. Добавить в разделах варианты, которые будете сравнивать с исходником. Тоже дайте им названия, чтобы не путаться.
3. Изменить элементы в визуальном редакторе. Выполните это для каждого варианта. К примеру, смените цвет кнопок.

Работает эксперимент следующим образом: посетитель заходит на исходную страницу. Ее адрес вы указывали при создании проекта. Сервис переадресует пользователя на один из тестовых вариантов (урлы вы задаете во время настройки).

Сразу же после запуска теста начинают составляться отчеты, с которыми вы можете ознакомиться в соответствующей вкладке.

Хорошо то, что Google Optimize сам определяет, когда пора завершить тестирование для получения достоверных сведений. Когда один из вариантов теста выигрывает, сервис автоматически начинает демонстрировать его пользователям.

Основные этапы A/B тестирования

Рассмотрим небольшую пошаговую инструкцию к тому, как проводить сплит-тесты.

Определение целей

Сначала сформулируем ключевые задачи компании или магазина и убедимся, что цели эксперимента с ними совпадают. Не проверяйте гипотезы, которые сразу не согласованы с глобальной целью. Если неверно выбрать ориентир, вы впустую потратите время и деньги.

Выбор метрики

Под понятием подразумеваются значимые показатели: количество продаж, чистая прибыль, число посетителей, доход и т. д. Для начала выберем одну метрику, но порой удобно рассматривать сразу несколько.

Если вы будете анализировать в рамках одного тестирования десяток метрик, эффективность работ значительно снизится.

Выдвижение гипотезы

Теперь переходим к важному этапу. Гипотезу выбирайте по схеме «если что-то сделать, то произойдет то». Например: если цвет кнопки «Заказать» изменить на зеленый, конверсия вырастет с 3–4 % до 7–8 %.

Чтобы верно оценить результаты, требуется выдвинуть 2 гипотезы:

• нулевая — к улучшениям не приведет и оставит показатель на прежнем уровне;
• альтернативная — корректировки повысят конверсию до 7–8 %.

Соответственно, если изменений не произошло, сработала нулевая гипотеза и вносить изменения бессмысленно. Если показатели выросли, альтернативный вариант победил. Это значит, что можно вносить более глобальные правки.

При негативном результате нужно просто откатить изменения и пробовать повышать метрику дальше.

Подготовка контрольных данных

Страница переделана, все готово к тестированию. Перед этим необходимо измерить исходные показатели конверсий и прочих метрик, которые будут учитываться. Первоначальный вариант называем А, новый — В.

Запуск теста

На этом этапе рандомно разделяем трафик 50/50. Половина пользователей увидит страницу А, остальная — В. Причем важно, чтобы состав трафика был равным. В противном случае тест будет необъективным.

Анализ результатов

Когда набралось достаточно сведений для статистики, пора оценить эффект А/Б тестирования. Выборка должна представлять статическую значимость. То есть вероятность случайности не должна превышать 5%.

По итогам анализа принимаем решение: распространить внесенные изменения на всю аудиторию или откатить до первоначальной версии.

Рекомендации по A/B-тестированию

Вы уже узнали, что сплит-тесты помогают повысить отдачу страниц. Чтобы они принесли результаты в действительности, специалисту нужно генерировать идеи для позитивного влияния на метрики. Нельзя придумывать правки наобум. Вы должны видеть пути улучшения страниц и понимать, почему именно они перспективные.

Но любой маркетолог порой попадает в ситуацию, когда протестированные идеи не помогли достичь целей. Если вы столкнетесь с подобным, попробуйте внести такие правки:

• используйте конверсионную форму, которая при прокрутке остается видимой для пользователя;
• уберите лишние поля. Возможно, посетитель не хочет указывать определенные данные и из-за этого отказывается совершить действие;
• увеличьте срок бесплатного тестирования вашего продукта;
• «поиграйте» с цветом конверсионных кнопок. Иногда положительную динамику дает агрессивный красный, а порой выигрышным становится спокойный зеленый.

Не опускайте руки после первой неудачи. Тестирование на то и называется тестированием, чтобы проверять, пробовать и экспериментировать.

Выводы

Вне зависимости от того, стал ваш эксперимент удачным или нет, относитесь к тестированию как к возможности для обучения. Пользуйтесь приобретенными навыками в создании и проверке последующей гипотезы. В любом случае рано или поздно получится найти те самые точки роста, которые помогут повысить показатели метрик и найти лучшее решение для развития бизнеса.

FAQ

Что такое A/B тестирование?

A/B тестирование представляет собой инструмент для развития сайта и проверки гипотез. Это особый метод оптимизации воронки ресурса. При его помощи разработчики оценивают предпочтения аудитории, определяя, требуется внедрять какие-то изменения или нет.

Когда проводить A/B тестирование сайтов?

А/В тестирование проводят, когда хотят оптимизировать ресурс, повысить продажи или выполнить анализ работы ресурса. Основная цель – сделать его более удобным для посетителей, подтолкнуть их оформлению заказов.

Что можно проверять с помощью А/В тестов?

Данный инструмент используется для сравнения базовой (контрольной) версии и оптимизированной, чтобы отследить реакции пользователей. Использовать А/В тестирование можно для оценки удобства обновленной структуры, нескольких вариантов текстов и прочих составляющих сайта.

Как провести A/B тестирование?

Для проведения A/B тестирования можно воспользоваться сервисами Google: Analytics, Optimize. Использовать их нужно в связке. Analytics отслеживает сведения по показателям (количество транзакций, доход и пр.), которые необходимы для использования Optimize.

У ВАС ОСТАЛИСЬ ВОПРОСЫ?

Оставьте ваши контактные данные. Наш менеджер свяжется и проконсультирует вас.

ПОЛУЧИТЬ КОНСУЛЬТАЦИЮ

Наш менеджер свяжется с Вами в ближайшее время

Отправить заявку

Мультивариантное тестирование (MVT): что это такое? (Часть 1)

Эта статья выйдет в 2 частях. Сегодня мы вкратце расскажем Вам о мультивариантном тестировании, а в следующий раз продемонстрируем, как можно проводить такие тесты с Kameleoon.

Что такое MVT?

A/B-тестирование – это эксперимент, который проводится на веб-сайте, позволяющий сравнить исходную версию страницы с другой (так называемой вариацией) версией, в которую были внесены изменения. Мультивариантный тест (или MVT) – это форма A/B-тестирования, в которой каждая вариация включает несколько модификаций одновременно. Идея заключается в том, чтобы одновременно протестировать все возможные комбинации нескольких элементов на одной странице, чтобы в итоге определить, которая комбинация оказывает большее влияние на показатели конверсии. Вот простой пример: Представьте, что Вы хотите поменять и цвет, и формулировку кнопки CTA. Что касается цвета, то Вы хотите протестировать желтый, синий и красный цвета. При изменении формулировки есть 2 варианта: Start (Начать) и Buy (Купить). Kameleoon  генерирует 6 версий Вашей страницы, учитывая эти 6 комбинаций:

​

Мини-глоссарий терминов MVT: Мультивариантный тест: это тест, дающий возможность протестировать показатели конверсии для одной или нескольких комбинаций нескольких элементов. MVT: сокращение от Multivariate Test Секция: секция группирует вместе несколько вариаций элемента. Например, секция «цвет», секция «формулировка». Вариация: это предложение модификации элемента. Вариация отличается от исходной версии страницы. В MVT мы можем создать несколько вариаций, которые мы группируем в секции. Например, вариации секции цветов будут следующими: синий, красный, желтый. Вариациями формулировок будут «Start» и «Buy». Комбинация: комбинация означает несколько вариаций различных секций, которые мы сочетаем и отображаем одновременно для соответствующих посетителей.

Какую ценность представляют собой MVT для Вашей стратегии оптимизации?

MVT позволяют:

— четко идентифицировать причины, которые оказывают влияние на Вашу конверсию Первое преимущество MVT перед обыкновенным A/B-тестом заключается в том, что он позволяет лучше понять причины разной эффективности между вариациями. Систематически разбивая модификации в разные вариации, можно более четко отслеживать и измерять влияние каждой из них на конверсию. — экономить время Автоматическое создание комбинация сэкономит огромное количество времени Вам. Это особенно актуально, когда нужно учесть множественные факторы. Если мы добавим к цвету и тексту CTA еще и 2 возможные формы (прямоугольная и квадратная), то у нас будет 2х2х3=12 разных комбинаций для того, чтобы протестировать, какая дает лучшую конверсию.

Здесь Вы можете подробнее изучить историю успеха одного из наших клиентов — Home Credit Bank. Этот кейс демонстрирует, как использовать MVT и каких результатов можно добиться. 

Теперь Вы знаете, что такое MVT и в чем польза таких тестов. В следующей статье мы покажем, как это работает с Kameleoon. Не пропустите!

Определение Ab по Merriam-Webster

\ ˈAb \

: мышца живота — обычно используется во множественном числе

\ ˈÄb , Äv , ˈȮv \ \ Ā-ˈbē \

: одна из четырех групп крови ABO, характеризующихся наличием антигенов, обозначенных буквами A и B, и отсутствием антител против этих антигенов.

1 опытный моряк; трудоспособный моряк

6 [Новая латынь artium baccalaureus ] бакалавр искусств

: из : прочь : прочь ab осевой

AB Бренд и маркетинговое агентство

перейти к содержанию

Оптимизация роста для амбициозных предприятий

Нужен свежий взгляд на свой маркетинг? Мы можем помочь

Новости

Работа на дому не означает, что вам нужно решать бизнес-задачи самостоятельно.

Подробнее

Переход бренда на B2C и внедрение аналитического маркетинга: региональный аэропорт DSA

Работа

Узнайте, как мы задаем новое направление в маркетинге бизнеса.

Узнать больше

Tozers: объединение команд и построение более сильного бизнеса

Работа

Как мы создали цифровую идентификацию для одной из старейших юридических фирм Юго-Запада.

Полный рассказ

С гордостью за заботу: НАБОР РАБОТНИКОВ В ОБЛАСТИ ЗДРАВООХРАНЕНИЯ И СОЦИАЛЬНОЙ ПОМОЩИ В КРИТИЧЕСКОЕ ВРЕМЯ

Работа

Посмотрите, как мы помогаем нанимать помощников врача.

Подробнее

Клиенты по всему миру доверяют нам трансформацию их брендов и развитие их бизнеса.

Наши сверхспособности — это творчество, любопытство и технологии. Мы используем их для создания более сильных брендов, положительного опыта и лучших компаний для всех.

Мы знаем о растущем бизнесе все. Мы занимаемся этим с 1983 года. Сегодня мы — первоклассная команда дизайнеров, разработчиков, маркетологов, стратегов и писателей.

Познакомьтесь с творческой командой. Мы гордимся тем, что создаем яркие, оригинальные работы для клиентов из Великобритании и других стран. Как мы можем тебе помочь?

Лучшие идеи приходят из любопытства, вопросов и тяги к новому опыту и технологиям. Добро пожаловать в наш центр размышлений и идей…

---

Автор: Розалинда Найт 1 февраля 2021 г.

Мы рады сообщить, что Кимберли Логан присоединяется к команде AB в качестве главы отдела цифрового маркетинга….

Подробнее

---

Автор: Розалинда Найт 9 ноября 2020 г.

Основные советы и рекомендации по обеспечению безопасности вашего персонала и съемочной группы во время съемок во время COVID-19. Многие …

Подробнее

---

Автор: Розалинда Найт 11 июня 2020 г.

Выберите из нашего набора бесплатных веселых открыток с отдыхом, чтобы рассказать всем, что за веселый праздник…

Подробнее

---

Автор: Розалинда Найт 7 мая 2020 г.

Быть гибким раньше было стремлением. Сейчас это важно для многих компаний. Посмотрите, как работают предприятия …

Подробнее

@ab_and_beyond

Мы рады представить нового члена команды AB — нашего нового менеджера по цифровому маркетингу Хлою Паркер.Ch… https://t.co/Psua3kFdDY

16 августа 2021 г. — 1 неделя назад

Поздравляем нашего менеджера по цифровому маркетингу Карли с достижением статуса дипломированного маркетолога через два года… https://t.co/OimUov5lLe

11 августа 2021 г. — 1 неделя назад

AB Multimedia Limited.Зарегистрированный офис: 9 Richmond Road, Exeter, EX4 4JA. Зарегистрировано в Англии и Уэльсе под номером 5277409

.

Загрузить отчет с домашней страницы

Пожалуйста, выберите действительную форму

Matter of A-B- и Matter of L-E-A-: Информация и ресурсы

11 июня 2018 г. бывший генеральный прокурор вынес постановление №

по делу A-B- , в котором он попытался ограничить возможность лиц, переживших бандитизм и гендерное насилие, получить убежище.

Решение отменяет предыдущее решение Matter of A-R-C-G-, в котором говорилось, что при некоторых обстоятельствах жертвы домашнего насилия могут получить защиту убежища. Кроме того, A-B- нападает на заявления о предоставлении убежища, влекущие за собой ущерб негосударственными субъектами. Несмотря на то, что решение создает впечатление, что эти иски исключены, почти все наносящие ущерб формулировки — это dicta, а также Конвенция о беженцах, Закон об иммиграции и гражданстве (INA) и прецедентное прецедентное право в Апелляционных судах и Апелляционном иммиграционном совете (BIA). ) продолжают поддерживать большую часть того, что BIA ранее проводило в ARCG-.Короче говоря, участок в A-B- узок, и большая часть нанесенного ущерба связана с оптикой, а не с законом. Тем не менее, поверенные должны быть готовы к тому, что судьи могут рассматривать A-B- широко и соответствующим образом представлять свои аргументы.

В июле 2019 года генеральный прокурор вынес еще одно решение, в котором снова была предпринята попытка ограничить возможности лиц, ищущих убежища, в получении защиты. В этом решении, Matter of L-E-A-, 27 I&N декабрь 581 (A.G. 2019), ограничения предназначены для лиц, которые подвергались преследованиям или опасаются преследований в связи с членством в их семьях.Как и в случае с A-B-, это решение имеет узкую долю владения и не меняет закон, но адвокаты должны быть готовы ответить.

NIJC находится в авангарде судебных разбирательств и усилий по защите интересов, направленных на противодействие нападкам администрации на лиц, ищущих убежища, и защите убежища.

С момента решения бывшего AG в июне 2018 года NIJC и наши pro bono партнеры успешно представили более 30 мужчин, женщин и детей в заявках о предоставлении убежища, связанных с гендерным насилием, насилием в бандах и членством в семье, и ведут судебные разбирательства по связанным с этим вопросам. на номера AB- и LEA- по всей стране.Ниже поверенные, представляющие лиц, ищущих убежища, по искам, рассматриваемым в решениях генерального прокурора, могут найти дополнительную информацию и ссылки на материалы, которые могут быть полезны при подготовке их дел.

Текущий график событий

• 2014 : BIA выпускает Matter of ARCG- , прецедентное решение, в котором установлено, что группа «замужних женщин в Гватемале, которые не могут разорвать свои отношения» является особой социальной группой, потому что она социально отлична, конкретно определен и основан на неизменных характеристиках.
  
• июнь 2018 : бывший генеральный прокурор издает Дело AB- , которое отменяет ARCG- по процедурным основаниям, поскольку бывший AG установил, что решение было результатом уступок DHS, а не применения закона со стороны BIA.
  
• Декабрь 2018 : Окружной суд округа Колумбия выносит решение Grace v. Whitaker , в первую очередь касающееся применения решения AB- и соответствующего меморандума о политике USCIS в процессе достоверных опасений, но которое также включает полезные язык для заявлений о предоставлении убежища.(Для получения дополнительной информации см. Обновленные рекомендации NIJC по вопросам практики A-B.) USCIS впоследствии издает руководство, связанное с выполнением решения
  
• Январь 2019 : Министерство юстиции подает апелляцию в Grace . Управление иммиграционного контроля издает руководство относительно Grace , утверждая, что оно применимо только в контексте достоверных опасений и не влияет на процедуру высылки.
  
• июль 2019 : Генеральный прокурор издает Matter of L-E-A-, 27 I&N Dec.581 (AG 2019), который отменяет часть решения Совета по иммиграционным апелляциям в деле Matter of LEA-, 27 I&N 40 декабря (BIA 2017) по узкому вопросу о том, проводился ли в предыдущем решении LEA надлежащий анализ конкретной социальной группы, постулируемой в этом случае.
  

Юридические ресурсы

Записанные вебинары

групп крови (для подростков) — Nemours Kidshealth

Переливание крови является спасением для многих американцев.Переливание крови необходимо по многим причинам, включая хирургическое вмешательство, после несчастных случаев и для пациентов с

хронические заболевания и рак.

Кровь нельзя получить искусственно, поэтому врачи полагаются на добровольные пожертвования. Чтобы обеспечить безопасность кровоснабжения, каждое донорство проверяется на группу крови и проверяется на наличие инфекционных заболеваний.

Какие компоненты крови?

Вся кровь содержит одни и те же основные компоненты:

• эритроциты
• лейкоциты
• тромбоцитов
• плазма

Но не у всех одинаковая группа крови.

Какие группы крови?

Категоризация крови по типу помогает предотвратить реакции при переливании крови. На поверхности эритроцитов есть маркеры, которые характеризуют тип клеток. Эти маркеры (также называемые антигенами ) представляют собой белки и сахара, которые наш организм использует для идентификации клеток крови как принадлежащих нам.

Две основные группы крови — это ABO и Rh.

Система крови ABO имеет четыре основных типа:

• Тип A: Эта группа крови имеет маркер, известный как A.
• Тип B: Эта группа крови имеет маркер, известный как B.
• Тип AB: Эта группа крови имеет маркеры как A, так и B.
• Тип O: Эта группа крови не имеет маркеров A или B.

Кровь далее классифицируется как «резус-положительная» (то есть с резус-фактором) или «резус-отрицательная» (без резус-фактора).

Итак, существует восемь возможных групп крови:

1. O отрицательный. Эта группа крови не имеет маркеров A или B, и у нее нет резус-фактора.
2. O положительный. Эта группа крови не имеет маркеров A или B, но имеет резус-фактор. О положительная кровь — одна из двух наиболее распространенных групп крови (другая положительная).
3. Отрицательный. Эта группа крови имеет только маркер A.
4. Положительный. Эта группа крови имеет маркер A и резус-фактор, но не маркер B. Наряду с положительным положительным результатом, это одна из двух наиболее распространенных групп крови.
5. B отрицательный. Эта группа крови имеет только маркер B.
6. B положительный. Эта группа крови имеет маркер B и резус-фактор, но не маркер A.
7. AB отрицательный. Эта группа крови имеет маркеры A и B, но не резус-фактор.
8. AB положительный. Эта группа крови имеет все три типа маркеров — A, B и резус-фактор.

Наличие любого из этих маркеров (или ни одного из них) не делает кровь человека здоровее или сильнее. Это просто генетическая разница, например, зеленые глаза вместо синих или прямые волосы вместо кудрявых.

Почему важны группы крови?

Иммунная система — это защита организма от захватчиков. Он может идентифицировать антигены как self или nonself . Для безопасного переливания крови иммунная система человека должна распознавать донорские клетки как соответствующие его или ее собственным клеткам. Если совпадение не распознается, ячейки отклоняются.

Иммунная система вырабатывает белки, называемые , антитела , которые действуют как защитники, если чужеродные клетки попадают в организм.В зависимости от того, какая у вас группа крови, ваша иммунная система будет вырабатывать антитела для реакции против других групп крови.

Если у пациента неправильная группа крови, антитела немедленно начинают уничтожать вторгшиеся клетки. Эта агрессивная реакция всего тела может вызвать у кого-то жар, озноб и низкое кровяное давление. Это может даже привести к отказу жизненно важных систем организма, таких как дыхание или почки.

Вот пример того, как работает процесс антитела группы крови:

• Допустим, у вас кровь группы А.Поскольку ваша кровь содержит маркер A, она вырабатывает антитела B.
• Если маркеры B (обнаруженные в крови типа B или AB) попадают в ваше тело, ваша иммунная система типа A срабатывает против них.
• Это означает, что вы можете получить переливание только от человека с кровью A или O, но не от человека с кровью B или AB.

Таким же образом, если у вас есть маркер B, ваше тело вырабатывает антитела A. Таким образом, как человек с кровью типа B, вы можете получить переливание крови от человека с кровью B или O, но не от A или AB.

Для людей с кровью типа AB или O все немного иначе:

• Если на поверхности клеток присутствуют маркеры A и B (кровь типа AB), вашему организму не нужно бороться с их присутствием.
• Это означает, что человек с кровью AB может получить переливание крови от человека с кровью A, B, AB или O.

Но если у вас кровь группы O, ваши эритроциты не имеют маркеров A или B. Итак:

• В вашем организме будут антитела как A, так и B, и поэтому он будет чувствовать необходимость защищаться от крови A, B и AB.
• Человеку с O крови можно сделать переливание только O крови.

Могут ли подростки сдавать кровь?

Переливание крови — одна из самых частых процедур, спасающих жизнь в больницах. Каждые 2 секунды кому-то требуется переливание крови. Так что всегда есть потребность в донорах крови. Одна сдача крови может спасти до трех жизней.

Около 15% доноров крови — студенты старших классов и колледжей. Если вы хотите помочь, обратитесь в местный центр крови.Это один из способов стать супергероем на каждый день и спасти жизни!

бутылок — главный камень преткновения для А-Б этим летом — Beer Business Daily — новости и номера пивной индустрии

Уважаемый клиент:

Вчера утром BBD получил следующий ответ от читателя-дистрибьютора. (Как вы помните, мы детализировали данные Nielsen о превосходстве «за пределами пива» для праздника Дня памяти и вялых тенденций практически для любого другого пива.)

«Сначала была нехватка банок, а теперь — бутылок», — написал дистрибьютор. «К сожалению, нехватка бутылок ограничивает наши запасы банок», поскольку потребители меняют направление.

Они продолжили: «Я не удивлен высокими показателями сельтерской воды [в День памяти], но… ABI испытывает серьезные проблемы с поставками, особенно с нашими крупносерийными упаковками — банками Mich Ultra 24, банками Busch Light 30 и 12 банками, Bud Light 24 пачки банок », — сообщил источник, который говорит, что« потеряли десятки тысяч ящиков объема с начала года из-за ежедневного распределения нашим отделам продаж и доставки некоторых из наших более крупных упаковок.…

«Эта нехватка продуктов, наряду с нехваткой персонала в розничной торговле, чтобы заполнить полки, должно быть, повлияла на данные сканирования, о которых вы говорили в утренней статье».

Конечно, A-B далеко не одинок в судне снабжения. «Мы также видим дефицит продукции у наших конкурентов, включая пивные продукты Molson Coors и Corona», — добавил источник.

ПРОИЗВОДСТВО СТЕКЛА ПРЕРЫВА. Но если на прошлогодних проблемах с поставками A-B казалась лучше, чем ее конкуренты, то теперь они, похоже, оказались в эпицентре недавней бури.Слияние этой кибератаки на их крупного поставщика бутылок, Ardagh, столкнувшееся с возросшим спросом на объемы из-за повторного открытия на месте, похоже, вызывает проблемы со стеклянными бутылками A-B.

NR НЕДОСТАТОЧНО ДО ПОСЛЕДНЕГО ЛЕТО. Действительно, в прошлом месяце мы сообщали об инциденте в Ардаге, который повлиял на снабжение. Но теперь многие дистрибьюторы AB отмечают поставку бутылок как потенциальную проблему на все лето.

Фактически, мы слышим, что вице-президент A-B по развитию бизнеса и оптовой торговли Боб Таллетт и глава отдела продаж Брендан Уитворт в понедельник поделились с дистрибьюторами видеотрансляцией, посвященной именно этим вопросам.Так что да, это вещь. Как сказал BBD один из дистрибьюторов: «… Нам говорят, что этим летом наши консервные банки будут лучше, чем прошлым летом, хотя по-прежнему ограничены. Однако широко распространенная нехватка бутылок продлится все лето ». (И это может привести к увеличению дефицита банок по мере перехода потребителей).

Другой оптовик охарактеризовал ситуацию с бутылками как «ужасную» — хотя он отметил, что, хотя их большая упаковка банок все еще ограничена, их запасы лучше, чем пару месяцев назад.

Что касается этих бутылок: «Bud Light, Ultra и Budweiser практически отсутствуют на складе в течение последних двух недель» для этого оптовика. «Наш DOI [дни инвентаризации] был напряженным в течение нескольких недель, но постоянная ситуация OOS [отсутствия на складе] наблюдалась последние пару недель. … Периодически мы будем получать очень небольшие ассигнования, но ничего последовательного ».

Им сказали, что такие проблемы связаны с атакой кибербезопасности, а также с отключением стекловаренной печи. Другой, охарактеризовавший бутылки как «очень проблемные», сказал, что эта проблема наиболее остро стоит на Среднем Западе из-за проблем на заводе, поставляющем продукцию St.Пивоварни Louis и Columbus.

Сказал другой дистрибьютор, про их 12 унций. NR, в частности: «Из-за производственных проблем у поставщика стекла, увеличения объемов из-за повторного открытия на предприятии и потери складских запасов из-за проблем с поставщиками стекла, мы сокращаем запасы до 2-3 дней для всех брендов A-B. A-B говорит, что проблемы со стеклом должны решиться сами собой после Дня труда. Тем временем они предлагают использовать левередж на 12 унций. алюминиевые бутылки и разливать до нормализации подачи.Они подчеркивают, что мы используем ALNR [алюминиевую невозвратную бутылку] и разливку для мест и специальных мероприятий ».

Тот же дистрибьютор также видит A-B на 16 унций. Может дефицит, но они к этому больше привыкли. «У нас будет нулевой запас запасов в течение 2-3 дней, а затем мы получим прямую загрузку, которая вернет нас примерно к 10 дням. Это характерно для всех наших брендов / упаковок Bud, Bud Light и Busch ».

ОГРАНИЧИВАЕТСЯ МНОГИЕ БОЛЬШИЕ УПАКОВКИ. Еще один оптовик сказал: «Мы очень жестко относимся к большим упаковкам», в частности, наблюдая «постоянные перебои в работе Ultra 24, как банок, так и стекла; Стекло Bud and Bud Light в упаковке 20 штук; и Bud Light 30 банок в упаковке.Другие упаковки также невысоки, и мы часто получаем партии и отправляем их прямо в розницу на следующий день. …

«Я знаю, что A-B усердно работает над решением этой проблемы, но они на шаг отстают от того, что им нужно провести в праздничные дни 4 июля».

ХОРОШАЯ ПРОБЛЕМА. Но, чтобы предложить некоторую перспективу, по крайней мере, мы говорим о повышенном спросе. Как сказал еще один дистрибьютор: «БУТЫЛКИ — проблема, в нашей работе в основном Bud Light и Bud. Может быть связано с кибернетикой, не уверен.По большей части, другие наши проблемы были связаны с тем, что наши прогнозы на День памяти и затем снова на этой неделе превысили наши прогнозы ».

ПОСТАВЛЯЙТЕ ЗАДАЧУ ОТРАСЛИ. И обратите внимание, что еще один крупный оптовый торговец сообщил BBD, что на их рынке «проблемы с поставками являются отраслевыми…». это совсем не АБ. … В целом, A-B лучше всех справилась с проблемами предложения. Их подготовка и коммуникация были лучше, чем у других поставщиков. … Лето должно быть интересным для всех нас, поскольку мы все преодолеем проблемы с поставками.”

Действительно.

A-B СООБЩАЕТ ДИСТРИБЬЮТОРАМ… Вчера Боб и Брендан отправили партнерам по оптовым продажам информацию о встречах и сообщениях, имевших место ранее на этой неделе, по этому вопросу (и другие новости).

Несмотря на остановки, сдвиги и нестабильность за последний год, «мы смогли продолжить обслуживание рынка с помощью хорошо скоординированной цепочки поставок», — заявили они.

«Мы продолжаем внимательно наблюдать и составлять план сценариев, поскольку он относится к поддержанию непрерывности поставок как для наших партнеров, так и для наших потребителей, и у нас есть планы по эффективному управлению поставками в предстоящие месяцы», особенно с использованием данных и коммуникаций.

«Мы применяем стратегический и проактивный подход к решению текущих проблем, включая инвестирование в дополнительные возможности, планирование на будущее и принятие сложных, но информированных решений для определения приоритетов наиболее эффективных продуктов и пакетов».

ДИСТРИБЬЮТОРЫ ПОВЫШАЮТ КИБЕРААТАКИ, ВЫГОДЫ

Если говорить о кибератаках, это растущая проблема: 1. Трудно получить подробности, о которых можно было бы сообщить, потому что жертвы этого преступления, как правило, не хотят предавать его гласности, и 2.Более широко распространено в пивоварении, чем это было известно ранее. Да, крупные компании, такие как Molson Coors и поставщик бутылок A-B, Ardagh, становятся мишенью хакеров, но теперь их атакуют все более мелкие и средние компании и дистрибьюторы пива с таким количеством связанных во времени и критически важных систем — и их кажущиеся толстыми кошельки — похоже, это марка du jour .

За последние несколько месяцев мы получили слухи о нескольких дистрибьюторах пива — малых, средних и крупных — которые стали жертвами хакеров, которые взломали их компьютерные сети, отключили их, а затем потребовали выкуп за восстановление их сетей.Вы знаете, что происходит, когда ваша сеть отключается? Собственно: ничего. Ничего не произошло.

Итак, вы платите деньги, или ваши грузовики не уезжают, ваши водители не могут зарегистрироваться, ваши электронные платежи не отправляются, депозиты не вносятся, предварительно проданные заказы не принимаются, грузовики нет. направлено, сотрудникам не платят — вы понимаете.

Действительно, консультант Джо Верно недавно сказал мне: «За последние два года мы знаем о четырех оптовых продавцах пива, которые были взломаны, и их данные / система были заложниками до тех пор, пока не был выплачен выкуп.Некоторые из этих оптовиков работают на небольших рынках, а другие — в крупных городских районах. Если мы знаем о четырех взломанных оптовиках, общее количество взломанных во всех США, вероятно, превышает 10 оптовых продавцов ». (Ред. Примечание: опять же, из-за отсутствия отчетности это число, вероятно, будет намного выше).

Джо советует всем оптовикам обратиться в свои страховые компании и убедиться, что они застрахованы от киберпространства. «Типичная выплата выкупа, о которой мы слышали, составляет около 500 000 долларов. Страховая компания проведет переговоры с угонщиками и произведет оплату.Что касается получения помощи от ФБР, мы можем перефразировать то, что ФБР сообщает оптовикам, когда они звонят о помощи: «Это агент 38. Вы знаете, сколько таких звонков мы получаем каждый день? У нас нет времени вам помочь ».

НЕ УВЕРЕН. Дело в том, что даже если вы или страховая компания заплатите выкуп, нет никаких гарантий, что хакеры восстановят компьютерную сеть. Джо говорит: «Один из наших клиентов сказал нам, что на самом деле существует служба, которая оценивает хакеров и их вероятность раскрытия вашей системы после того, как вы заплатите выкуп.”

НЕ ПРОСМОТРЕТЬ. Думаете, вы слишком малы или ваша система слишком безопасна для взлома? Не будь так уверен. Большинство взломанных оптовиков имеют первоклассные ИТ-отделы, и их все равно взламывают. Но эти хакеры — международные игроки. Как говорит Джо, «это как играть в школьный бейсбол, а хакеры — высшая лига».

Джо надеется, что взломанные оптовики станут более активно рассказывать о своем опыте, чтобы другие могли предотвратить это.«Это сообщение необходимо передать».

Изд. Примечание: Согласны. Сообщите нам свои истории о хакерах конфиденциально, : [email protected] или ТЕКСТ (262) 345-2501. Кроме того, у нас будет эксперт по кибербезопасности, который работал со взломанными оптовиками, который будет говорить по этой теме на нашем саммите по продуктивности дистрибьюторов в следующем месяце.

СУД ОТКАЗЫВАЕТ ПРЕДСТАВЛЕНИЕ СОЗВЕЗДИЕМ ОТКЛОНЯТЬ ИСК GRUPO MODELO

Вчера Окружной суд США Южного округа Нью-Йорка заслушал устные аргументы по ходатайству Constellation отклонить жалобу, которую Grupo Modelo подала против U.S. beer в феврале по обвинению в нарушении контракта. Напомним, речь идет о Corona Hard Seltzer, которая, как утверждает Grupo Modelo, принадлежащая Anheuser-Busch InBev, нарушает их соглашение 2013 года, разрешающее Constellation использовать название Corona [см. BBD 02-15-2021].

Через два месяца после того, как этот иск был подан, Constellation подала ходатайство об отклонении его, утверждая, что их сублицензия действительно допускает такое использование, как Corona Hard Seltzer, и что претензии Grupo — просто «еще одна страница из заезженной книги ABI по изъятию конкуренция на внутреннем рынке пива », поскольку у AB также есть несколько брендов сельтерской воды, которые конкурируют с зельтером Corona [см. BBD 04-06-2021].

Решение суда по ходатайству Constellation об отклонении было вынесено вчера. Он был кратким: «Хотя, похоже, есть веские аргументы с обеих сторон дела, и они были умело и хорошо представлены всеми адвокатами, жалоба содержит правдоподобные претензии о нарушении контракта и нарушении прав на товарный знак», — написал USDJ Льюис А. Каплан. «Ходатайство об увольнении отклонено во всех отношениях».

Вскоре после этого компания ABI предложила BBD комментарий: «Grupo Modelo довольна решением окружного суда США, отклоняющим ходатайство Constellation об отклонении во всех отношениях», — говорится в сообщении.«Мы с нетерпением ждем рассмотрения наших исков о нарушении контракта и нарушении прав на товарный знак».

ГЭВИН: МЫ «ВСЕГДА ВПЕРЕДИ ПЛАНА»

Это были тяжелые два года для Molson Coors. Они пережили трагическую стрельбу на своей пивоварне в Милуоки, они продолжают нести системную потерю доли рынка крупных устаревших брендов, их огромная пивоварня в Форт-Уэрте была закрыта из-за причудливой 100-летней техасской метели в течение одиннадцати дней, они испытали на себе продукт нехватка, нехватка банок и серьезная кибератака, которая также отключила их на несколько дней….. О, и глобальная пандемия.

И все же мы видели, как энергичный и оптимистичный Гэвин Хаттерсли, глава Molson Coors, говорил инвесторам на мероприятии ISI Evercore Consumer & Retailer Summit, что с учетом всего произошедшего он все еще повторяет прогноз Molson Coors относительно стабильной прибыли в 2021 году ( В частности, прогноз УК должен быть «плоским» в отношении EBITDA в неизменной валюте на 2021 финансовый год).

Как? Математика проста: увеличивайте продажи, сохраняя при этом расходы на прежнем уровне. Это работает каждый раз, когда работает.И, как отмечает Гэвин, гораздо легче выкарабкаться из ямы летом, когда ящики разлетаются с конвейеров на полную мощность (миллион баррелей в неделю в случае MC). Пока потребительский спрос остается стабильным, Molson Coors может увеличить объемы поставок только за счет осенней заправки труб.

Итак, Гэвин планирует значительно восстановить запасы после 4 июля и возместить часть утраченных поставок из-за метели в Техасе и кибератак, которые полностью истощили товарные запасы.

Вот Гэвин, который объяснит больше своими словами, как это было сказано Роберту Оттенштейну из Evercore ISI и взято из BBD:

О ПЕРСПЕКТИВЕ МАКСИМАЛЬНОЙ ЗАРАБОТКИ В 2021 году. «Ну, послушайте, я имею в виду, что мы опубликовали это руководство, как вы говорите, я думаю, что мы представили его в нашем отчете о прибылях и убытках за четвертый квартал, который может быть еще в феврале. И с тех пор мы подтвердили это фактически дважды. И мы подтвердили это на нашем 8-K, который мы выпустили после атаки кибербезопасности. И мы подтвердили это снова после нашего отчета о прибыли за первый квартал.На высоком уровне это увеличивает нашу выручку, выраженную однозначными цифрами, и сохраняет нашу EBITDA на относительно стабильном уровне. Я думаю, мы сказали ровно. Если вы посмотрите на их движущие силы, то, верно, я имею в виду с точки зрения объемов, мы намерены перейти к потреблению. И, конечно же, второй квартал для нас всегда большой квартал, неважно, в каком году он, это День поминовения и 4 июля … Наш план есть, был и остается перейти на потребление и восстановить их. запасы, которые мы потеряли из-за тех двух событий, о которых вы упомянули, а затем стабильный показатель EBITDA.”

ВПЕРЕДИ ПЛАНА. «Вы знаете, я говорил, что вы знаете несколько раз как дистрибьюторам, так и публично, что мы опережаем наш план, намного опережая наш план. И мы отгружали более миллиона баррелей в неделю , что, я не думаю, что мы делали слишком много раз в прошлом году. Думаю, мы делали это один или два раза, может быть, в самом начале пандемии. И с этой стороны мы сказали, что все идет по правильному пути «.

УДИВИТЕЛЬНОЕ ВОЗРОЖДЕНИЕ ГАВИНА НА ПОМЕЩЕНИИ. «А затем, если вы посмотрите на повторное открытие локального рынка, мы увидим, что в течение года мы продвигались вперед и назад, безусловно, в Соединенных Штатах, которые являются самым большим рынком, который у нас есть.Мы опережаем то, о чем думали. Открыто больше торговых точек, а скорость несколько выше, чем мы думали….

«Даже несмотря на то, что мы думаем, что количество торговых точек будет сокращаться, это меньше, чем мы первоначально думали в разгар пандемии. Я думаю, мы думали, что у нас будет от 20% до 25% торговых точек, которые просто никогда не откроются, и я думаю, что сейчас мы, вероятно, приблизились к 5-10%. Я имею в виду, что это, очевидно, всего лишь оценка, но, безусловно, будут открыты новые торговые точки.Думаю, нам понадобится от шести до девяти месяцев, чтобы вернуться к уровням 2019 года. Опять же, это прогноз. Вы знаете, что спортивные стадионы и мероприятия возвращаются быстрее, чем мы, возможно, первоначально думали, с точки зрения выхода на полную мощность в некоторых частях страны, а в других штатах там нет. Так что в целом для нашего бизнеса мы определенно видим путь к возвращению к уровням 2019 года, возможно, в ближайшие шесть-девять месяцев ».

GAVIN В НАЛИЧИИ. «Решения, которые мы приняли относительно того, на чем мы собирались сосредоточиться, несомненно, привели к тому, что в нашем экономическом портфеле закончились запасы.В этом нет никаких сомнений. И поэтому, если есть дистрибьютор, который сильно зависит от экономики [брендов], он определенно страдает больше, чем дистрибьютор, у которого нет.

АУТ-О-ТОПО. «Другая область отсутствия запасов, о которой вы, вероятно, слышите, — это крепкий зельтер Topo Chico, который не имеет ничего общего ни с одним из этих двух событий. Просто мы ожидали отличного запуска, и он не был отличным, это было потрясающе, и, как вы знаете, это поставило нас в отставку от представления точки зрения на конвейер.

«Такие разные аспекты наших вещей: мы определенно не вернулись туда, где должны быть, нет, но мы опередили то, что, как мы думали, мы будем».

ОТ MC’S SELTZER PERFORMANCE. «Нас критиковали за нехватку доли в этом пространстве. Я знаю, что многие скептически относятся к нашей способности дойти до 10 акций. Мы вошли в 2020 год с менее чем одной акцией. Мы вышли из 2020 года с четырьмя акциями, так что рост составил почти 400%. И вы знаете, что мы не прошли даже половину года, у нас больше шести долей, и у нас есть два явных победителя [Topo и Vizzy].”

ГАВИН: КОНКУРЕНТНОЕ ПРЕИМУЩЕСТВО ДИСТРИБЬЮТОРНОЙ СЕТИ. «Наши дистрибьюторы привыкли к сложностям, и вы знаете, в чем наши конкурентные преимущества? Мы не хотим вкладывать слова в их рот правильно, но Coca-Cola проявила должную осмотрительность, они посмотрели на наших конкурентов и посмотрели на нас, и им понравилось то, что они увидели, им понравились наши возможности продаж в сети, им понравились усиление и исполнение Возможности наших дистрибьюторов, трехуровневая система — они проделали действительно хорошую работу, им понравились наши маркетинговые возможности, и они выбрали нас, и теперь вы знаете, я думаю, что это отражение наших основных конкурентных преимуществ.”

PODCAST: Роковой чумой 2020 год стал лучшим годом для объемов bev-alc за 20 лет. Какая категория выиграла? Слушайте наши краткие ежедневные обзоры новостей отрасли здесь >> (harryspod.com)

До завтра,

Гарри, Дженн и Джордан

«Никогда не знаешь, как лошадь будет тянуть, пока не зацепишь ее тяжелым грузом». — Пол «Медведь» Брайант

———- Календарь на день продажи ———-

Сегодняшний день продажи: 13

Дней продаж в этом месяце: 22

Дней продаж в этом месяце в прошлом году: 22

Этот месяц заканчивается в: Ср.

Этот месяц в прошлом году закончился в: Вт.

Дней продажи с начала года Больше / меньше: -1

Связанные

Word Root Of The Day: ab

Ab-, Ab- и прочь!

Сегодня мы остановимся на префиксе ab- , что означает «прочь». К концу этого подкаста вы будете полностью уверены, что ab означает «прочь!»

Вы когда-нибудь встречали кого-нибудь, кто был или нормальным или «далеким» от нормального? Человек действовал бы в нормальном режиме ab , если бы его ab отправляли из класса или с работы более половины времени, то есть он был «далеко» больше, чем присутствовал.Или человек действительно был бы ab нормальным, если бы мог ab летать или «улетать» на крыльях!

Были ли вы когда-нибудь ab в чем-то решительно уверены, настолько, что были «освобождены» от всех сомнений? Например, вы можете быть или абсолютно уверены в том, что вас никогда не будут или отводить или уводить «прочь» инопланетяне, но, опять же, у других, по-видимому, есть… так что вы можете быть «подальше» от всех сомнений в этом ?

Если бы королева или установила свой трон, она бы сказала, что хочет быть «подальше» от него, то есть уйти от королевы.Однако ее народ мог бы любить ее так сильно, что ей пришлось бы или или отказаться от своих планов, или она была бы «в стороне» от их восхождения, чтобы успешно остаться на троне.

Губка Боб Квадратные Штаны, будучи губкой и всем остальным, на самом деле поглощает воду ab или всасывает ее «прочь» из окружающего океана, так что она уходит в себя. Хотя Губке Бобу действительно нравится мягкая вода океана, ему, вероятно, не понравится что-то или агрессивное, например наждачная бумага, которая будет царапать или царапать «прочь» его желтую дырявую прелесть, что и может сделать кто-то вроде Планктона.Хотя другие могут посчитать поведение Планктона или блуждающим или блуждающим «в сторону» от приемлемого поведения, Планктону было бы все равно, поскольку он соскребал в или посланно, или, может быть, не так ab посланник ликовал. !

«В гостях» с этим подкастом, так как теперь вы действительно ab решительно управляете этим английским префиксом!

1. ненормально : «не в норме»
2. отсутствует : находиться «вдали от места»
3. отменить : улететь «прочь»
4. абсолютно : ослаблено «вдали от всяких сомнений»
5. похищение : увести «прочь»
6. отречься от престола : монарх говорит, что хочет быть «подальше» от власти
7. прервать : «вдали от подъема» или начала
8. поглощает : отсасывает «прочь»
9. абразив : относится к соскабливанию «прочь» на
10. аберрантный : блуждать «прочь»

A / B-тестирование — Optimizely

Что такое A / B-тестирование?

A / B-тестирование (также известное как сплит-тестирование или сегментное тестирование) — это метод сравнения двух версий веб-страницы или приложения друг с другом, чтобы определить, какая из них работает лучше.A / B-тестирование — это, по сути, эксперимент, в котором пользователям случайным образом показываются два или более варианта страницы, а статистический анализ используется для определения того, какой вариант лучше подходит для данной цели конверсии.

Запуск A / B-теста, который напрямую сравнивает вариант с текущим опытом, позволяет вам задавать конкретные вопросы об изменениях на вашем веб-сайте или в приложении, а затем собирать данные о влиянии этого изменения.

Testing исключает догадки при оптимизации веб-сайта и позволяет принимать решения на основе данных, которые переводят деловые разговоры с «мы думаем» на «мы знаем».»Измеряя влияние изменений на ваши показатели, вы можете убедиться, что каждое изменение дает положительные результаты.

Как работает A / B-тестирование

В A / B-тесте вы берете веб-страницу или экран приложения и изменяете его, чтобы создать вторую версию той же страницы. Это изменение может быть таким простым, как отдельный заголовок, кнопка или полное изменение дизайна страницы. Затем половине вашего трафика будет показана исходная версия страницы (известная как контрольная), а половине — измененная версия страницы (вариант).

По мере того, как посетители обслуживаются либо в режиме контроля, либо в режиме вариации, их участие в каждом опыте измеряется, собирается на информационной панели и анализируется с помощью статистического механизма. Затем вы можете определить, оказало ли изменение опыта положительное, отрицательное или нейтральное влияние на поведение посетителей.

Почему вам следует проводить A / B-тестирование

A / B-тестирование позволяет отдельным лицам, командам и компаниям вносить осторожные изменения в свой пользовательский опыт, собирая данные о результатах.Это позволяет им строить гипотезы и узнавать, почему определенные элементы их опыта влияют на поведение пользователей. С другой стороны, их можно доказать, что они ошибаются — их мнение о наилучшем опыте для достижения данной цели может быть опровергнуто с помощью A / B-теста.

Больше, чем просто ответ на разовый вопрос или урегулирование разногласий, A / B-тестирование может использоваться для постоянного улучшения конкретного опыта или улучшения одной цели, например коэффициента конверсии, с течением времени.

Технологическая компания B2B может захотеть улучшить качество и объем потенциальных клиентов с помощью целевых страниц кампании.Для достижения этой цели команда попытается провести A / B-тестирование изменений заголовка, визуальных изображений, полей формы, призыва к действию и общего макета страницы.

Тестирование одного изменения за раз помогает им определить, какие изменения повлияли на поведение посетителей, а какие нет. Со временем они могут объединить эффект нескольких выигрышных изменений из экспериментов, чтобы продемонстрировать измеримое улучшение нового опыта по сравнению со старым.

Этот метод внесения изменений в взаимодействие с пользователем также позволяет оптимизировать его для достижения желаемого результата и может сделать важные шаги в маркетинговой кампании более эффективными.

Путем тестирования рекламного текста маркетологи могут узнать, какие версии привлекают больше кликов. Тестируя последующую целевую страницу, они могут узнать, какой макет лучше всего превращает посетителей в клиентов. Общие расходы на маркетинговую кампанию можно фактически уменьшить, если элементы каждого шага работают максимально эффективно для привлечения новых клиентов.

A / B-тестирование также может использоваться разработчиками и дизайнерами продуктов, чтобы продемонстрировать влияние новых функций или изменений на взаимодействие с пользователем.Адаптация продукта, взаимодействие с пользователем, модальные окна и внутрипродуктовый опыт — все это можно оптимизировать с помощью A / B-тестирования, если цели четко определены и у вас есть четкая гипотеза.

Процесс тестирования A / B

Ниже приводится структура A / B-тестирования, которую вы можете использовать для запуска тестов:

• Соберите данные: Ваша аналитика часто дает представление о том, где вы можете начать оптимизацию. Это помогает начать с участков вашего сайта или приложения с высокой посещаемостью, чтобы вы могли быстрее собирать данные.Ищите страницы с низким коэффициентом конверсии или высоким коэффициентом прерывания, которые можно улучшить.

• Определите цели: Цели конверсии — это показатели, которые вы используете, чтобы определить, является ли вариант более успешным, чем исходная версия. Цели могут быть любыми: от нажатия кнопки или ссылки до покупки продукта и подписки по электронной почте.

• Сгенерировать гипотезу: После того, как вы определили цель, вы можете начать генерировать идеи и гипотезы A / B-тестирования, объясняющие, почему, по вашему мнению, они будут лучше, чем текущая версия.Составив список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

• Создание вариантов: Используя программное обеспечение для A / B-тестирования (например, Optimizely), внесите желаемые изменения в элемент вашего веб-сайта или мобильного приложения. Это может быть изменение цвета кнопки, изменение порядка элементов на странице, скрытие элементов навигации или что-то полностью настраиваемое. Многие ведущие инструменты A / B-тестирования имеют визуальный редактор, который упрощает внесение этих изменений.Убедитесь, что ваш эксперимент прошел проверку качества, чтобы убедиться, что он работает должным образом.

• Провести эксперимент: Начните эксперимент и ждите, пока посетители будут участвовать! На этом этапе посетители вашего сайта или приложения будут случайным образом назначены либо для контроля, либо для изменения вашего опыта. Их взаимодействие с каждым опытом измеряется, подсчитывается и сравнивается, чтобы определить эффективность каждого из них.

• Анализ результатов: После завершения эксперимента пора проанализировать результаты.Ваше программное обеспечение для A / B-тестирования представит данные эксперимента и покажет вам разницу между работой двух версий вашей страницы и наличием статистически значимой разницы.

Если ваш вариант победил, поздравляем! Посмотрите, сможете ли вы применить уроки эксперимента на других страницах своего сайта и продолжить итерацию эксперимента, чтобы улучшить свои результаты. Если ваш эксперимент дал отрицательный результат или не дал результата, не волнуйтесь.Используйте эксперимент как обучающий опыт и создайте новую гипотезу, которую вы сможете проверить.

Каким бы ни был результат вашего эксперимента, используйте свой опыт для информирования будущих тестов и постоянно работайте над оптимизацией вашего приложения или сайта.

A / B-тестирование и SEO

Google разрешает и поощряет A / B-тестирование и заявляет, что выполнение A / B-тестирования или многовариантного тестирования не представляет никакого риска для рейтинга вашего сайта в поисковой сети. Однако можно поставить под угрозу свой рейтинг в поиске, злоупотребляя инструментом A / B-тестирования для таких целей, как маскировка.Google сформулировал несколько рекомендаций, чтобы этого не произошло:

• Без маскировки: Маскировка — это практика показа поисковым системам контента, отличного от того, который мог бы увидеть обычный посетитель. Маскировка может привести к понижению или даже удалению вашего сайта из результатов поиска. Чтобы предотвратить маскировку, не злоупотребляйте сегментацией посетителей для отображения различного содержания для робота Googlebot на основе агента пользователя или IP-адреса.

• Используйте rel = «canonical»: Если вы запускаете сплит-тест с несколькими URL-адресами, вы должны использовать атрибут rel = «canonical», чтобы указать варианты обратно на исходную версию страницы.Это поможет предотвратить запутывание робота Google в нескольких версиях одной и той же страницы.

• Используйте перенаправление 302 вместо 301: Если вы запускаете тест, который перенаправляет исходный URL-адрес на вариант URL, используйте перенаправление 302 (временное) вместо перенаправления 301 (постоянное). Это сообщает поисковым системам, таким как Google, что перенаправление является временным и что им следует сохранять в индексе исходный URL-адрес, а не тестовый URL-адрес.

• Запускайте эксперименты столько, сколько необходимо: Запуск тестов дольше, чем необходимо, особенно если вы обслуживаете один вариант своей страницы для большого процента пользователей, можно рассматривать как попытку обмануть поисковые системы.Google рекомендует обновить ваш сайт и удалить все варианты тестирования, как только тест будет завершен, и не запускать тесты излишне долго.

Для получения дополнительной информации об A / B-тестировании и SEO см. Статью нашей базы знаний о том, как A / B-тестирование влияет на SEO.

Туристическая компания может захотеть увеличить количество успешных бронирований, совершенных на их веб-сайте или в мобильном приложении, или может захотеть увеличить доход от дополнительных покупок. Чтобы улучшить эти показатели, они могут протестировать варианты:

• Режимы поиска на главной странице
• Страница результатов поиска
• Дополнительная информация о продукте

Компания , занимающаяся электронной коммерцией, может захотеть увеличить количество завершенных касс, среднюю стоимость заказа или увеличить праздничные продажи.Для этого они могут провести A / B-тест:

• Акции на домашней странице
• Элементы навигации
• Компоненты воронки оформления заказа

Технологическая компания может захотеть увеличить количество высококачественных лидов для своей группы продаж, увеличить количество пользователей бесплатной пробной версии или привлечь определенного типа покупателя. Они могут проверить:

• Детали формы свинца
• Процесс регистрации для бесплатной пробной версии
• Сообщения на главной странице и призыв к действию

Примеры тестирования A / B

Эти примеры A / B-тестирования показывают типы результатов, которые самые инновационные компании мира видели в ходе A / B-тестирования с помощью Optimizely:

Компания

Discovery A / B протестировала компоненты своего видеоплеера, чтобы привлечь внимание фанатов своего телешоу.’ Результат? Увеличение вовлеченности в видео на 6%.

ComScore A / B протестировал логотипы и отзывы, чтобы повысить социальное доказательство на целевой странице продукта и увеличить количество потенциальных клиентов на 69%.