Marketing mix modeling: kiedy MMM ma sens, a kiedy jest drogą wymówką

Marketing mix modeling ma teraz swój moment. Nie dlatego, że ktoś wymyślił coś nowego — metoda ma kilkadziesiąt lat i dorobiła się jej reklama telewizyjna, zanim istniał internet. Wróciła, bo atrybucja oparta na ciasteczkach przestała działać, a firmy potrzebują czegoś, co odpowie na pytanie „ile z tego wzrostu to nasza zasługa”.

Problem w tym, że MMM sprzedaje się dziś jako uniwersalna odpowiedź na kryzys pomiaru. A jest to metoda z bardzo konkretnymi warunkami wejścia — i większość polskich sklepów tych warunków nie spełnia.

Poniżej: czym MMM naprawdę jest, czego wymaga, dlaczego zwykle nie zadziała i co warto policzyć wcześniej.

Dlaczego wszyscy nagle o tym mówią

Przez dekadę pomiar w e-commerce opierał się na śledzeniu pojedynczego użytkownika przez ścieżkę zakupową. Ten model rozpadł się z kilku stron naraz.

Zgody na śledzenie w iOS odcięły znaczną część ruchu mobilnego. Ciasteczka firm trzecich przestały być fundamentem, na którym da się cokolwiek zbudować. Tryb zgód w Europie sprawił, że część konwersji jest dziś modelowana, a nie mierzona — co bywa rozsądnym przybliżeniem, ale nie jest tym samym co pomiar. Do tego doszły kanały, które nigdy nie były klikalne: telewizja, outdoor, część wideo.

W efekcie panele reklamowe raportują coraz pewniej rzeczy, których coraz mniej widzą. I stąd zwrot ku metodzie, która nigdy nie potrzebowała identyfikatora użytkownika.

Czym MMM jest naprawdę

MMM to model statystyczny — najczęściej regresja na szeregach czasowych — który próbuje wyjaśnić sprzedaż w kolejnych tygodniach za pomocą wydatków na poszczególne kanały oraz zestawu czynników kontrolnych: sezonowości, cen, promocji, dostępności, świąt, aktywności konkurencji.

Kluczowa różnica wobec atrybucji: MMM nie śledzi nikogo. Nie wie, kto kliknął. Pracuje na zagregowanych danych tygodniowych i szuka statystycznego związku między tym, ile wydałeś, a tym, ile sprzedałeś.

Z tego wynika też, na jakie pytania odpowiada, a na jakie nie.

Odpowiada na pytanie budżetowe: ile alokować na kanał w następnym kwartale, gdzie jesteśmy blisko nasycenia, ile realnie dokłada kanał, którego atrybucja nie widzi.

Nie odpowiada na pytanie operacyjne: którą kampanię wyłączyć w poniedziałek, która grupa odbiorców działa lepiej, co zrobić z konkretnym produktem. Do tego MMM ma zupełnie nie tę rozdzielczość.

Jeżeli ktoś sprzedaje Ci MMM jako zamiennik atrybucji, sprzedaje nieporozumienie. To są dwa narzędzia do dwóch różnych decyzji i w dojrzałym pomiarze działają obok siebie.

Trzy pojęcia, bez których nie da się o tym rozmawiać

Adstock, czyli że reklama nie kończy się w dniu emisji

Ktoś, kto zobaczył reklamę w środę, może kupić w następny wtorek. Efekt rozkłada się w czasie, malejąco. MMM modeluje to jako adstock — wydatek z danego tygodnia „przelewa się” na kolejne z określonym współczynnikiem wygaszania.

Model bez adstocku przypisze cały efekt tygodniowi wydatku i systematycznie zaniży kanały o dłuższym działaniu. W praktyce oznacza to zwykle niedoszacowanie działań budujących markę na rzecz tych, które konwertują natychmiast.

Saturacja, czyli że dziesiąta złotówka działa słabiej niż pierwsza

Zależność między wydatkiem a sprzedażą nie jest liniowa. Po przekroczeniu pewnego poziomu kolejne pieniądze w tym samym kanale dokładają coraz mniej — bo wyczerpujesz zasięg, docierasz do osób coraz mniej zainteresowanych, licytujesz o ten sam ruch.

MMM modeluje to krzywą nasycenia. Bez niej model powie „przenieś cały budżet do najlepszego kanału”, co jest matematycznie poprawne i biznesowo bez sensu. To właśnie krzywe nasycenia są tym, po co robi się MMM: pokazują, gdzie jesteś na krzywej i ile jeszcze zmieści się w kanale, zanim przestanie się opłacać.

Kolinearność, czyli najczęstszy cichy zabójca

Jeżeli budżety Twoich kanałów zawsze rosną i spadają razem — bo skalujesz wszystko proporcjonalnie albo bo wszystko idzie w górę przed świętami — model nie ma jak rozdzielić ich wkładu. Statystycznie te zmienne niosą tę samą informację.

Wynik wygląda wtedy wiarygodnie, ale współczynniki są niestabilne: potrafią zmienić wartość o połowę po dodaniu jednego tygodnia danych, a czasem zmienić znak. To jest moment, w którym model przestaje mierzyć rzeczywistość, a zaczyna dopasowywać się do szumu.

Zmienność wydatków nie jest w MMM niedogodnością. Jest warunkiem, żeby cokolwiek dało się policzyć.

Czego MMM wymaga, żeby w ogóle zadziałać

Konkretna lista. Brak któregokolwiek punktu nie oznacza, że model się nie policzy — modele liczą się zawsze. Oznacza, że wynikowi nie można ufać.

Historia: minimum dwa lata danych tygodniowych, lepiej trzy. Dwa lata to około stu obserwacji. To niedużo, kiedy weźmiesz pod uwagę, ile parametrów model musi oszacować: każdy kanał to współczynnik plus parametry adstocku i nasycenia, do tego kontrole. Przy ośmiu kanałach szacujesz kilkadziesiąt parametrów na stu obserwacjach. Dlatego współczesne MMM są bayesowskie — priory ratują sytuację, w której danych jest po prostu za mało.

Zmienność wydatków. Budżet płaski przez dwa lata nie niesie informacji. Model potrzebuje momentów, w których kanały zachowywały się różnie.

Kilka kanałów o porównywalnej wadze. Jeśli osiemdziesiąt procent budżetu idzie w jeden kanał, nie ma czego dekomponować.

Czynniki kontrolne. Ceny, promocje, dostępność, sezonowość, święta ruchome, w niektórych kategoriach pogoda. Bez nich model przypisze reklamie wzrost, który wywołała wyprzedaż.

Stabilna definicja konwersji przez cały okres. To jest punkt pomijany najczęściej i najbardziej kosztowny. Jeśli w środku szeregu zmieniałeś system analityczny, model atrybucji albo sposób liczenia zamówień, masz w danych sztuczny uskok, którego model nie odróżni od efektu marketingowego. W praktyce ogranicza to użyteczną historię do okresu po ostatniej zmianie — a zmiany w pomiarze zdarzały się ostatnio wszystkim.

Dane kosztowe, nie tylko mediowe. O tym za chwilę, bo to jest najważniejsze.

Dlaczego u większości polskich sklepów to nie zadziała

Przejdźmy przez tę listę realistycznie.

Typowy sklep e-commerce w Polsce ma dwa, może trzy kanały płatne, z czego jeden — najczęściej Google — odpowiada za większość budżetu. Budżet jest ustalany proporcjonalnie i rośnie w czwartym kwartale we wszystkich kanałach naraz. Historia sprzedaży jest, ale w jej trakcie zmienił się asortyment, ceny i co najmniej raz sposób liczenia konwersji. Eksperymentów inkrementalnych nie było żadnych.

Na takich danych MMM policzy się bez problemu i wypluje ładny wykres z podziałem wkładu kanałów. Ten wykres będzie w znacznej części artefaktem kolinearności i sezonowości. Najgorsze jest to, że wygląda dokładnie tak samo jak wykres z modelu, któremu można ufać.

Ale najpoważniejszy problem jest inny i nie ma nic wspólnego ze statystyką.

Większość firm, które pytają o MMM, nie ma policzonej marży jednostkowej. Model zbuduje się wtedy na przychodzie — bo to jedyna zmienna wynikowa, jaka jest dostępna. I zoptymalizuje alokację budżetu pod przychód.

To jest dokładnie ten sam błąd, który popełnia rozliczanie agencji z ROAS: premiowanie kanałów, które generują obrót, niezależnie od tego, ile z niego zostaje. Tylko że tym razem kosztuje wielokrotnie więcej i przychodzi z autorytetem modelu bayesowskiego. Rozpisałem ten mechanizm na liczbach tutaj.

Model, który optymalizuje przychód zamiast marży, powiela ten sam błąd co ROAS — tylko drożej i z większą pewnością siebie.

Kalibracja, czyli różnica między modelem a opinią

To jest część, którą pomija się najczęściej, a która decyduje o wszystkim.

Sam w sobie MMM jest modelem korelacyjnym. Pokazuje związek, nie przyczynę. Żeby przypisać mu wartość przyczynową, trzeba go skonfrontować z eksperymentem — czyli z sytuacją, w której faktycznie coś zmieniłeś i zmierzyłeś skutek.

W praktyce oznacza to testy inkrementalne:

• Test geograficzny — wyłączasz albo mocno ograniczasz kanał w wybranych regionach, porównujesz z regionami kontrolnymi. Najczystsza dostępna metoda dla większości firm.
• Test wyłączeniowy — planowa przerwa w kanale na kilka tygodni, z odpowiednio dobranym okresem porównawczym.
• Badania inkrementalności w platformach reklamowych — wygodne, ale dostawca mierzy tu skuteczność własnego produktu, co warto mieć z tyłu głowy.

Nowoczesne, bayesowskie implementacje MMM pozwalają wprost wprowadzić wynik eksperymentu jako informację wejściową dla modelu — zamiast pozwalać mu zgadywać zwrot z kanału, mówisz mu, ile ten zwrot wyniósł w kontrolowanym teście. To jest dziś standard dobrej roboty, a nie dodatek.

MMM bez kalibracji eksperymentem to opinia wyrażona w Pythonie. Bardzo starannie wyliczona opinia, ale wciąż opinia.

Kiedy MMM naprawdę ma sens

Warunki, przy których spełnieniu rozmowa robi się poważna:

• Budżet mediowy na tyle duży, że błąd alokacji rzędu dziesięciu procent to kwota wielokrotnie przewyższająca koszt projektu. To jest pierwsze i najważniejsze kryterium — czysta arytmetyka, a nie kwestia dojrzałości organizacji.
• Co najmniej cztery, pięć kanałów o realnej i różnej zmienności wydatków.
• Istotny udział kanałów, których atrybucja nie widzi — telewizja, outdoor, radio, wideo na ekranach telewizyjnych, działania wizerunkowe.
• Wiele rynków lub regionów — daje przekrój geograficzny, na którym da się zarówno modelować, jak i eksperymentować.
• Policzona marża jednostkowa, żeby model optymalizował zysk, a nie obrót.
• Gotowość do prowadzenia eksperymentów — bez tego nie ma czym kalibrować.

Firmy, które spełniają te warunki, zwykle wiedzą, że je spełniają. Jeśli czytasz tę listę i nie masz pewności co do połowy punktów, odpowiedź brzmi „jeszcze nie”.

Co zrobić zamiast — w tej kolejności

Nie „nigdy”. Po prostu nie jako pierwsze.

1. Policz marżę jednostkową i P&L kanału. Ile zostaje po koszcie towaru, pozyskania, rabacie, zwrocie i wysyłce — w rozbiciu na produkty i kanały. To zwykle zmienia decyzje budżetowe bardziej niż jakikolwiek model i kosztuje ułamek tego, co MMM.

2. Zrób jeden prosty test inkrementalny. Wyłącz jeden kanał w jednym regionie na dwa tygodnie i zmierz, co się stało ze sprzedażą. Najczęstszy kandydat i najczęstsze zaskoczenie to kampanie brandowe w wyszukiwarce.

3. Powtórz to na największym kanale, w formie testu geograficznego z grupą kontrolną. W tym momencie masz już twardą wiedzę o inkrementalności dwóch najważniejszych pozycji budżetu.

4. Dopiero teraz rozważ MMM — mając marżę jako zmienną wynikową i wyniki eksperymentów jako kalibrację. Wtedy model odpowiada na pytanie, którego wcześniej nie dało się zadać, zamiast produkować drogie potwierdzenie tego, co i tak było widać w arkuszu.

W większości firm, które o to pytają, kroki pierwszy i drugi wystarczają na najbliższy rok decyzji budżetowych.

Narzędzia — krótko

Jeśli już schodzicie na ten poziom, ekosystem open source jest dojrzały i nie ma powodu zaczynać od rozwiązania zamkniętego:

• Meta Robyn — w R, półautomatyczne dopasowanie, popularne i dobrze udokumentowane.
• Google Meridian — podejście bayesowskie, następca wcześniejszej lekkiej biblioteki Google, obsługuje kalibrację eksperymentem.
• PyMC-Marketing — bayesowskie MMM w Pythonie, największa elastyczność, największy próg wejścia.

Wybór narzędzia jest najmniej istotną decyzją w całym projekcie. Jakość danych wejściowych i kalibracja decydują o wyniku w stopniu, który sprawia, że różnice między bibliotekami są szumem.

Podsumowanie

MMM jest dobrym narzędziem do jednej konkretnej decyzji: jak rozłożyć duży budżet między kanały, w tym te, których nie da się kliknąć. Wymaga długiej i spójnej historii, zmienności wydatków, czynników kontrolnych, marży jako zmiennej wynikowej i eksperymentów do kalibracji.

Bez tych rzeczy policzy się równie ładnie i będzie równie przekonujący. Tylko nieprawdziwy.

Zanim wydasz budżet na modelowanie miksu, sprawdź, czy potrafisz odpowiedzieć na prostsze pytanie: ile zostaje Ci ze sprzedaży produktu, który promujesz najintensywniej. Zaskakująco często to pytanie okazuje się droższe w skutkach niż całe MMM.

O tym, jak wygląda ustawienie pomiaru i policzenie rentowności od podstaw, piszę tutaj.