Churn-prediktion hos Tibber: från riskvärde till tid till händelse

Tibber säljer el som en prenumeration, och i prenumererad el är relationen produkten. Elen i sig är odifferentierad – en kilowattimme är en kilowattimme – så det kunden fortsätter betala för är mjukvaran runt omkring, prismekanismen och känslan av att någon håller koll åt en. Det gör churn till affärsmodellens centrala risk snarare än ett marknadsföringsmått nedströms tillväxten.

Programmet täckte fyra länder och ungefär 550 000 kunder. Fyra marknader räcker för att skillnaderna mellan dem ska sluta vara anekdoter: anciennitetsprofilerna skiljer sig, säsongsmönstren skiljer sig, och skälen till att folk lämnar skiljer sig. En och samma insats lagd likadant över alla fyra är samma kompromiss gjord fyra gånger, och i den skalan har kompromissen ett pris som går att läsa i kohortkurvorna.

Det var också här jag slutade beställa churn-modeller och började skriva dem. Inte av någon förkärlek för själva hantverket. Avståndet mellan den som äger retention-siffran och den som anpassar modellen är precis där en retentionstrategi tyst blir en kampanjkalender igen, och det billigaste sättet att korta avståndet var att lära sig göra båda delarna.

Gradient-boostade accelerated failure time-modeller – XGBoost-AFT – anpassade på Databricks mot kundhistorik på individnivå. AFT i stället för en klassificerare, eftersom de flesta i kundbasen inte har churnat än: deras verkliga livslängd är okänd och begränsad nedåt bara av hur länge man hunnit titta. En survival-modell räknar en fortfarande aktiv kund som delvis bevis. En klassificerare måste etikettera samma kund ”lämnade inte”, vilket lär den att alla som står på listan i dag är trygga.

Variablerna, på den nivå det är värt att beskriva dem

Kohortbeteende snarare än kampanjrespons: anciennitet, förbrukningsmönster och hur stabilt det är, fakturerings- och betalningshistorik, supportkontakter, och vilken marknad kunden sitter på. Varje variabel återskapad som den såg ut den dag prediktionen utgår från, aldrig som den ser ut nu. En tabell som läcker framtiden ger ett vackert valideringsvärde och noll prediktivt värde, och det är det vanligaste sättet arbetet tyst misslyckas på.

En modellfamilj, fyra marknader

Fyra marknader vill inte ha fyra orelaterade modeller, och en modell som låtsas att marknaderna är likadana är sämre än båda alternativen. Det som fungerar är en gemensam modellfamilj med marknaden som variabel och kalibrering per marknad ovanpå: mekaniken är gemensam, skillnaderna är uttalade i stället för oavsiktliga, och en ändring som görs för ett land syns för de tre andra innan den går live.

Var den kördes

Inne i bolagets egen miljö, på bolagets egen data, uppdaterad i en takt som retentionprogrammet kunde planera mot – och tillbakaskriven dit orkestreringen kunde läsa den. En prediktion som bara landar i en dashboard ändrar ingenting. Värdet måste komma dit beslutet fattas, den dag det fattas.

En survival-modell går att betygsätta på sina egna villkor: konkordans, kalibrering mot observerad anciennitet, och om den slår den enkla regeln – anciennitet plus dagar sedan senaste aktivitet – med tillräcklig marginal för att vara värd att underhålla. Det är grundkravet, och det är inte den intressanta frågan.

Den intressanta frågan är om det lönar sig att agera på modellen jämfört med att låta bli, och bara en design svarar på den. En holdout: slumpmässigt undanhållen inom varje behandlat segment, överenskommen innan första utskicket går, och avläst mot retention och bidrag i stället för mot öppningar och klick. Definierad i efterhand slutar en holdout vara en mätning och blir ett sätt att förklara ett resultat man redan har.

Vad designen måste tåla

• Slumpad inom segmentet, inte över hela basen. En kontrollgrupp dragen ur alla svarar på en fråga ingen ställde.
• Stor nog att se den effekt ni bryr er om. En holdout som är för liten för att upptäcka skillnaden är en kontrollgrupp bara till namnet, och den rapporterar ”ingen effekt” oavsett vilket av skälen som gäller.
• Ett fönster långt nog för händelsen. Churn är långsamt. En avläsning efter två veckor på ett beteende som tar ett halvår mäter kampanjen, inte retentionen.
• Samma definition av churn som modellen anpassats på. Att mäta en händelse och modellera en annan är det dyra misstaget, och det syns inte förrän någon stämmer av de två siffrorna mot varandra.

Det är den disciplinen som gör det möjligt att säga att något inte fungerade, också när det var mitt. Det är också skälet till att en effektsiffra lånad från ett annat bolag är värd så lite: ett tal framtaget under någon annans churn-definition, på deras marknader, mot deras utgångsläge, säger ingenting alls om ert. Det som går att flytta mellan bolag är designen, aldrig siffran.

Bestäm definitionen av churn med ekonomi innan första variabeln skrivs

En churn-händelse och en rapporterad churn-siffra är inte automatiskt samma sak, och glappet mellan dem upptäcks sent och dyrt – oftast i mötet där modellens resultat jämförs med styrelsematerialet. Det är numera det första som skrivs ned i ett uppdrag, innan en enda tabell byggs.

Sätt den tråkiga utgångsmodellen i produktion först

Anciennitet plus dagar sedan senaste aktivitet, inkopplat i programmet och kört mot en holdout, innan survival-modellerna finns. Det kostar ungefär en vecka. Det ger den riktiga modellen något att slå, och det bygger mätrören vid en tidpunkt då ingen ännu är känslomässigt fäst vid resultatet.

Designa insatsen före prediktionen

En tid till händelse är bara värd att ha om något genuint annorlunda händer vecka två än vecka tio. Numera skriver jag insatskalendern först och låter den bestämma vad modellen måste leverera, i stället för att anpassa en modell och sedan fråga programmet vad det ska göra med den. Hälften av modellvalen svarar på sig själva när det dokumentet finns.