Создание интерфейса по результатам тестирования дает возможность аудитории решать самой, какие элементы ей удобнее использовать. Такой эксперимент похож на исследование для нового лекарства, когда одна контрольная группа получает дозу нового препарата, а другая – плацебо. Причем ни врач, ни больные не знают, кто в какой группе.

Что это за тестирование?

A/B тест применяется для анализа эффективности страницы, например, повысить продажи на сайте. Специалист выдвигает гипотезу, по которой заголовки плохо читаются, поэтому пользователи уходят с сайта, не сделав заказ. А другой шрифт исправил бы ситуацию. Чтобы проверить эту гипотезу, создается второй вариант страницы с другим шрифтом, и с помощью программ для тестирования трафик распределяется равномерно между двумя вариантами. Через некоторое время можно посмотреть, где конверсионный показатель оказался выше, какой вариант дал больше заказов, подписок, обращений.

Зачем проводить A/B тестирование?

Тестирование покажет, что привлечёт пользователей и как оптимизировать сайт. В результате можно работать с подтверждёнными фактами, а не догадками.

Проверенная гипотеза подтвердит, что вы меняете сайт не потому, что кто-то считает это хорошей идеей, пришло время, или кажется, что внешний вид сайта устарел. Настоящие причины для изменений – улучить юзабилити и повысить конверсию. В идеале результаты тестирования помогут улучшить все эти показатели.

По данным на 2017 год 38% западных компаний проводят A/B тесты. Мы рекомендуем проверять свои теории при первой возможности, чтобы получить точные данные. Результат тестирования даст ответ на многие вопросы и поможет определиться, какие средства применить для повышения конверсии и стоит ли делать редизайн сайта.

Откуда брать гипотезы?

Изучите ваш данные с помощью Google Analytics и найдите возможные пробелы, которые могут влиять на конверсию. Смоделируйте гипотезу, основанную на этих данных. Здесь помогут интервью, тепловые карты, разбор кейсов конкурентов.

А как проверять?

Сначала определитесь с целями и KPI для теста, а также показателями сайта, которые хотите измерить. Оцените показатели существующей страницы и способы ее улучшения. Например, вы хотите повысить коэффициент конверсии промостраницы с 10% до 15% и предполагаете, что сейчас текст на кнопке недостаточно привлекает внимание пользователя. На кнопке написано «Подробнее», поскольку это универсальный вариант. Исследования показывают, что этот текст часто непонятен для пользователя. Пользователь не знает наверняка что произойдет после клика: скачивание pdf с подробными условиями, начнется оформление заказа, переход на другую страницу. Лучшие использовать более точные слова, которые будут более информативны и привлекательны для пользователей.

Чтобы проверить гипотезу, создается второй вариант страницы с другим текстом на кнопке, и половина трафика отправляется на нее. Если изменение текста на кнопке увеличило показатель на 3%, но не привело к желаемым 15%, то надо работать над текстом дальше. Но в следующем тесте контрольной версией уже страница с обновленным текстом.

Сформулируйте четкие гипотезы по пунктам, которые хотите проверить. За один раз можно проверять только одну гипотезу, иначе результат будет неточным. Например, если вы меняете кнопку целевого действия, то нужно отдельно тестировать ее цвет, текст, форму и величину, иначе никто не сможет определить, какой именно фактор повлиял на конверсию.

Какую программу выбрать?

Можно воспользоваться бесплатной программой Google Experiments, ее функционала достаточно для тестирования. Также популярна программа Optimizely с функционалом дополнительной персонализации, цена $ 49 за 1к ежемесячных уникальных просмотров. А для тестирования на мобильных устройствах подойдет Apptimize, с помощью которой можно мгновенно обновлять приложение в AppStore.

Что можно тестировать?

Обязательно тестировать Call-to-action элементы, особенно когда вы планируете запуск нового сайта или редизайн, а также большие изменения, такие как:

• Изменение архитектуры сайта;
• Добавление нового раздела на сайт;
• Разработка сервисов, влияющих на функциональности и юзабилити.

А также когда вы хотите проверить небольшие гипотезы, но значимые для общей эффективности страницы: текст призыва к действию на кнопке, цвет шрифта, порядок баннеров с УТП.

А сколько ждать?

Не менее недели. В разные дни и разное время поведение пользователей может отличаться, поэтому тесты должны проходить одновременно на обоих вариантах. Погрешность может возникнуть из-за недостаточного трафика и конверсии. Разница в показателях должна быть ощутима: например, заказы распределяются между старой и новой версией — 100 и 170, тогда результаты эксперимента будут точными с гарантией 95%. Большинство инструментов для тестирования учитывают погрешность, но вы можете перепроверить их на калькуляторе.

Что можно узнать?

Кроме проверки основной гипотезы, вы можете сделать выборку результатов для отдельной группы пользователей, узнать показатели по другим целям на сайте, посмотреть количество отказов, продолжительность сеанса использования сайта, количество посещенных страниц и получить инсайты для новых гипотез.

Как сделать эффективно?

Можно провести АА тест – направить пользователей на страницы с двумя одинаковыми вариантами, чтобы удостовериться, что программное обеспечение работает правильно и узнать нынешнее количество конверсий перед тем, как запустить A/B тест.

Чтобы не показывать 50% аудитории тестовую версию, которая не обязательно будет внедряться, выборку лучше уменьшить. Для АА теста можно выделить 1% аудитории, тогда каждая сотая загрузка страницы выдаст вариант, который тестируется, а для А/B теста настроить выбор из двух версий — каждый сотый раз загружается вариант А, каждый двухсотый вариант В.

Если тестирование происходит на постоянной аудитории, ей лучше показать два новых варианта, т.к. любое изменение на привычном сайте будет восприниматься как «шум».

Сформулируйте четкие гипотезы, которые вы хотите проверить. Они должны обязательно поддаваться сравнению по количественным показателям. Если ваши предположения расплывчатые, тест не сработает. Также не стоит сравнивать два кардинально разных дизайна страницы.

Если вы хотите проверить больше двух гипотез, разделите их на несколько тестов и проверяйте последовательно, иначе результаты получатся необъективными. Преимущество тестов именно в четкости результатов.

Посмотрите, какая из версий дала лучший результат. Если есть четкий победитель, изменения можно смело внедрять на сайте. Если результаты получились неубедительными, вернитесь к гипотезам.

Пара советов

1. Определитесь, что вы хотите тестировать и почему.
2. Создайте альтернативы вашему контрольному варианту страницы.
3. Проведите тест.
4. Сделайте страницу-победителя новой контрольной версией.
5. Повторите тест, один эксперимент вряд ли поможет повысить эффективность всего вашего бизнеса в диджитале.

Успех вашего сайта – это не случайность. Перед тем, как менять дизайн и юзабилити, стоит проверить все гипотезы эмпирически и опираться на точные данные.