800 000 емейлів: оптимізація і тестування цільової сторінки для емейл-кампанії

Кілька тижнів тому, у рамках першої в історії конференції з оптимізації й тестування, організованою компанією MECLABS, дослідницькою фірмою MarketingSherpa, інтернет-лабораторією MarketingExperiments і компанією-продавцем програмного забезпечення для інтернет маркетингу HubSpot, був проведений експеримент. У ньому були задіяні понад 200 маркетологів - учасників конференції. Їх завданням було безпосередньо в ході конференції протестувати і оптимізувати маркетингову кампанію. Як об'єкт експерименту було висунено реальну пропозицію головного спонсора конференції, компанії HubSpot (спільно з MarketingSherpa) - безкоштовна глава із публікації MarketingSherpa 2011 року, присвяченої оптимізації цільових сторінок (2011 MarketingSherpa Landing Page Optimization Benchmark Report).

Метою кампанії було отримання докладніших відомостей про існуючий список розсилки компанії HubSpot і його розширення. Учасники експерименту повинні були домогтися підвищення кількості заповнених на цільовій сторінці емейл-кампанії і відправлених форм.

Основна складність експерименту полягала в тому, що оптимізувати можна було лише:

1. Заголовок

2. Зображення продукту

3. Заклик до дії

4. Рекламний текст

5. Розташування елементів на сторінці

Варто відзначити ще один момент: якщо ви коли-небудь брали участь у командному обговоренні проекту, то повинні знати, як важко навіть співробітникам одного відділу прийти до одностайного рішення. А тепер уявіть собі, що станеться, якщо попросити команду з 200 маркетологів прийняти єдино вірне рішення! Передбачаючи труднощі, організатори експерименту розбили всіх учасників на невеликі групи (по 3-4 людини) і визначили ліміт часу, відведеного на обговорення (не більше 15 хвилин). Результати їх роботи аналізувалися, а варіанти, вибрані найбільшим числом груп, використовувалися для оптимізації тестової сторінки. 

Учасники експерименту більшістю голосів визначили, що краще всього розміщення досить короткого тексту в одній колонці; сильний заголовок; заклик до дії, що вказує на вигоду пропозиції.

Тестова сторінка, що містить ці елементи, повинна була стати більш ефективною, ніж контрольна - вона підкреслювала цінність пропозиції (конкретизуючи, завдяки заголовку і зображенню, характер контенту, доступного для безкоштовного завантаження). До того ж, скорочення тексту і розміщення його у вигляді єдиної колонки полегшило завдання відвідувачів, допомогло направити їх увагу.

Після створення тестового варіанту сторінки почався сам експеримент. Учасники розіслали 800000 емейлів (за списками розсилки MarketingExperiments, MarketingSherpa і HubSpot), опублікували 4 поста в блогах, а також в Твіттері, де за оновленнями постів компанії стежить більш 140000 користувачів. Це привернуло на сторінку стільки відвідувачів, що можна було спрогнозувати підвищення рівня конвертації на 1%.

Експериментальна кампанія виявилася успішною - кількість лідів, зібраних на тестовій сторінці, збільшилася на 0,7% при 90-процентному рівні достовірності. Це досягнення може здатися досить скромним, але не варто забувати про те, що компанії надали кращі списки розсилки і залучили на цільові сторінки лише найперспективніших відвідувачів. Отже, навіть невелике збільшення кількості лідів могло призвести до значного зростання окупності інвестицій.

Не можна не відзначити і надзвичайно високий рівень конвертації кампанії - 47% - тобто практично кожен другий відвідувач заповнив форму. Це означає, що відвідувачі мотивовані, для них пропозиція була цікава з самого початку. А мотивація має безпосередній вплив на рівень конвертації у ліди. Якщо вона висока, то відвідувачі не звернуть особливої уваги і на невдалу цільову сторінку - для них головне отримати те, що вони хочуть. В даному випадку мотивація була дуже високою, тому складно було очікувати великих відмінностей у рівні конвертації тестової та контрольної сторінок.

 Успіх поступово зростав, учасники експерименту щогодини збирали дані. До вечора першого дня здавалося, що переможець вже визначений - в 23:50 тестовий варіант працював на 5% ефективніше контрольного, досягнувши при цьому 93-процентного рівня достовірності. Маркетологи вже готові були святкувати перемогу. Але потім щось пішло не так.

Вранці виявилося, що все змінилося.

Рівень конвертації тестового варіанта сторінки, що виріс напередодні до 51%, різко знизився і ледь досягав 34%. Результати повністю змінилися, оскільки тестовий і контрольний варіанти були пов'язані між собою. Рівень достовірності опустився нижче 70%.

Що ж сталося? Невже поведінка відвідувачів так різко змінилася за ніч? Або на хід експерименту вплинув якийсь зовнішній фактор?

Уважно вивчивши зібрані дані, учасники помітили цікаве відхилення: вночі, за 7 годин, кількість відвідувачів тестової сторінки перевищила кількість відвідувачів контрольної сторінки на 44%, незважаючи на те, що в експерименті був задіяний спеціальний спліттер, який розривав трафік порівну на дві сторінки. Звідки взялися такі коливання?

alt="" />

Спочатку учасники вирішили, що сам спліттер з якоїсь причини працював неправильно. Але, з іншого боку, трафік розподілявся нерівномірно лише в певні проміжки часу, в інший час тестова і контрольна сторінки отримували рівний об'єм трафіку. Якщо б проблема була в спліттері, то трафік не розподілявся б рівномірно зовсім.

Подібні коливання зазвичай говорять про те, що хтось запустив паралельну кампанію і направляє на тестову сторінку сторонній трафік, повідомляє начальник науково-дослідницького управління MECLABS Боб Кемпер. Проте жоден з відділів компаній-організаторів не запускав ніякої кампанії, весь трафік прямував на сторінку-сплиттер.

І раптом одного з учасників експерименту осяяло! Потім, звичайно, ця відповідь стала здаватися очевидною, але в той момент вона була справжнім відкриттям. Ніхто з організаторів або учасників не направляв сторонній трафік на сторінки. Це робили самі відвідувачі, які отримали емейли на початку кампанії! Вони розповідали своїм друзям і знайомим про пропозиції, але давали посилання не на сторінку-спліттер, а безпосередньо на тестову або контрольну сторінки.

Ця проблема вказала учасникам на недолік тестової сторінки та стала відмінним прикладом того, як через невеликі недоробки результати реальної кампанії можуть виявитися недостовірними. У цьому експерименті учасникам зустрілася одна з найбільш поширених помилок, які порушують достовірність - систематична помилка відбору (показує, що висновки, зроблені стосовно до якоїсь групи, можуть виявитися неточними внаслідок неправильного відбору в цю групу). Учасники могли б зрадіти 175-процентним зростанням рівня конвертації при рівні достовірності 95% і зробити неправильні висновки, якби випустили з уваги вищезгадану статистичну помилку.

Навіть кращі сторінки можуть піддаватися впливу непередбачуваних зовнішніх факторів. Але не варто припиняти тестування через виникаючі проблеми. Навпаки, вони повинні спонукати вас тестувати далі, вносити зміни, оптимізувати, досягти кращого результату. Учасник експерименту, який здогадався про природу проблеми, зумів, не володіючи спеціальними знаннями чи досвідом, правильно інтерпретувати статистичні дані - значить, і ви впораєтеся! Увагу до статистики допомагає знайти відповіді на питання, які  на перший погляд здаються складними.

Підводячи підсумки, учасники відзначили, що в теорії експеримент був не таким вже і складним. Але на практиці виявилося, що може виникнути безліч непередбачених проблем. Ділячись враженнями, вони порівняли себе з дітьми, які сидять на краєчку стільця і напружено стежать за розвитком сюжету якого-небудь захоплюючого фантастичного фільму. Реальні люди + реальна пропозиція = непередбачувані результати. На хід кампанії та достовірність її результатів можуть чинити значний вплив різні зовнішні фактори. Однак саме непередбачуваність і складність зробили цей експеримент надзвичайно цікавим.