Aflevering

29

-

CRO verschillen tussen VS en Europa met Martijn Scheijbeler

12/9/2019
-
S01E29

Vandaag praat ik met Martijn Scheijbeler. Voorheen in de lead bij het SEO team van Postmates en was daarvoor verantwoordelijk voor Marketing bij The Next Web en hij is momenteel VP Marketing bij RVshare. Wij gaan het o.a. hebben over het optimaliseren van marktplaats websites, het combineren van verschillende onderzoekmethodes en de verschillen in het CRO werk tussen de VS en Europa.

Extra leesvoer:

Transcript:


Guido: Ja Martijn, dankjewel! Leuk dat je wilt meedoen. En ja, de eerste vraag - ik bedoel, ik volg jou ook op Twitter en op Instagram, daar zie ik allemaal dingen voorbij komen van New York. Daar woon je niet. Je woont wel in de States, maar niet in New York, dus wat heb je in New York gedaan? Vertel.

Martijn: Ja, thanks dat ik erbij mag zijn. Ja, New York, net terug, leuke trip. Ik was er voornamelijk voor Affiliate Marketing Summit East. We zijn zeg maar eerder dit jaar begonnen met het leren van marketing bij RVshare; dat was altijd één van de ondergesneeuwde channels, intern. En omdat we eindelijk hebben aangenomen eerder dit jaar moeten we nog een hoop opstarten daar, dus dat was zeg maar de voornamelijkste reden om daar te zijn. We hebben ook onze nieuwe accountmanager, en een deel van onze PR-agency zit daar ook. Dus dat is zeg maar de werkkant. 

En omdat ik daar met één van mijn goeie vrienden, Rik Bronkerts was, hebben we ook van de stad genoten. Dus de helikoptervlucht kon dit keer niet uitblijven. Daarnaast nog genoeg rooftop bars, dus dat is zeker aan te raden. Maar ik moet wel toegeven dat het voornamelijk werk was en dat, zeg maar... Je hebt uiteraard op Instagram de meeste privé-dingen meegekregen, maar het meerendeel van de tijd zat ik gewoon binnen in een heel saai hotel in een soort network-speeddatingevent, om maar met zoveel mogelijk affiliate partners te meeten. Dus dat was ook weer niet exotisch.

Guido: Ja, precies. Ik zag ook nog een tweet van je voorbij komen: "I'm at the Google New York office, anybody know where the search algorithm is? I'll try to grab it and share." En: is dat nog gelukt?

Martijn: Nou, da's niet gelukt hoor! Er liepen wel een hoop mensen rond daar, maar ik denk niet dat daar het algoritme uitgeprint kon worden, dus helaas is dat aan me voorbijgegaan.

Guido: Helaas.

Martijn: Maar altijd mooi om daar te zijn, weer.

Guido: Ja. En nu weer terug thuis?

Martijn: Ja, nu weer terug thuis. Kort tripje naar New York. Veel on the road, omdat we ook op verschillende plekken zitten, zeg maar. Ik zit aan de westkust, net buiten San Francisco. Net uit San Francisco verhuisd een paar maanden geleden, dus veel remote werk, maar ook heel veel in één van de twee offices vaak. Dus New York was effe kort maar krachtig.

Guido: Ja, nice. Hé en we gaan het uiteraard zo over RVshare hebben, maar voordat we dat doen: wat is je achtergrond en hoe ben je met CRO bezig, überhaupt?

Martijn: Jaren geleden begon ik bij Springest en het was destijds EduHub. De focus daar - omdat het nog zo'n kleine startup was... We zaten net toen ik daar begon tegen die product market fit aan. We hadden de eerste soort van 'institutionele educatie-aanbieders' aangesloten. 

En, zeg maar, de bedoeling daar was uiteraard dat we jij en ik die op zoek zijn naar een cursus konden connecten aan de juiste personen die bij een instituut werkten. En daar was het vooral heel belangrijk om aan de optimalisatiekant de bezoekers - de weinige bezoekers, want het ging soms echt om een handjevol per dag (zeker aan het begin) - om die zo snel mogelijk te converteren, zodat er iets van product market fit was en zodat er iets van business überhaupt was om iedereen... Nou ja, iedereen; er waren niet zoveel mensen in die tijd - te kunnen betalen. 

En daarna groeide dat eigenlijk uit en lag de focus veel meer op de optimalisatie van specifieke channels, dus SEO en paid search waren zeer belangrijk, en dat resulteerde ook in vooral in het verhogen van de value van een gebruiker, of van een klant daar. 

Dat was de echte eerste start in de CRO-wereld, maar ik denk dat wel het werk dat we bij TNW deden daarna wat meer bekend is geworden, omdat we daar natuurlijk veel over gepraat hebben - Simon Vreeman en ik, en nog wat anderen ook. Omdat daar de focus vooral lag op het vergroten van de engagement van alle TNW-lezers, maar ook daarnaast zorgen dat ze in de life cycle van heel The Next Web, met alle verschillende business units (waaronder de conference), een beetje bleven hangen. En dat was eigenlijk het echte begin. 

Tegenwoordig ben ik vooral op een andere manier ermee bezig, omdat ik meer teams leid en verantwoordelijk ben voor strategie. Ik kijk vooral naar: hoe kunnen we optimalisatie toepassen op al die verschillende kanalen en al die verschillende kanten van het product. Dus iets minder hands-on testen, bouwen, analyseren. Het gebeurt af en toe ook nog 'es, maar dat is meer uit noodzaak vaak, dan dat het een goed idee is. De achtergrond heeft me een hoop geleerd waar ik nu nog steeds veel aan heb, en dat was zeker nuttig.

Guido: Maar het is wel de vergelijkbare mindset, toch? Ik bedoel, CRO wordt vaak, ja - mensen denken dan natuurlijk heel snel aan A/B-testen. Ik probeer dat met deze podcast een béétje breder te trekken, maar in principe wat je doet met die toepassing en die mindset, natuurlijk doen we dat met CRO, met A/B-testen en vooral vaak websites. Maar ja, dat kun je op alle kanalen doen. 

Martijn: Absoluut, absoluut. Ja, ik denk dat het op elk kanaal waar je iets van data kunt binnenhalen; de creatieve kanalen zoals social en bijvoorbeeld zeker aan de videokant, denk ik dat dat lastiger is, maar aan de SEO, paid search, displaykant, waar bijna nog meer getallen beschikbaar zijn - soms in, laten we zeggen, de klassieke A/B-testen; daar is zoveel te optimaliseren en zolang je daar maar als bedrijf, maar ook als team op blijft focussen dan is daar heel veel uit te halen, denk ik. En dat is ook datgene wat zeker aan die mindset ligt, ja. Zolang je in die mindset blijft dan komt het wel goed, waar je dan ook aan werkt. 

Guido: Ja precies, het wordt vooral lastig inderdaad als je technisch de beperking hebt.

Martijn: Ja, absoluut. En zeker met de kanalen die daar wél iets meer te targeten zijn, is het ook vaak wat meer aan de paid kant, natuurlijk. Maar zelfs de Facebook organic site is meer en meer beperkt geworden op den duur, weer. Door privacy, wat ook op zich niet slecht is, maar daardoor is het wel vaak lastig te testen, ja. Zeker bij The Next Web, waar we daar veel in deden. Het was toch weer een beetje dat onderbuikgevoel, terwijl we dan ook wel weer in bepaalde onderdelen konden bewijzen of het nou wel of niet werkt. Maar zeker dat headline testing/gut feeling check, om te zorgen dat je post, laten we zeggen, Firewall gaat, dat lijkt toch nog wel een beetje een onderbuikgevoel.

Guido: Nu ben jij getrouwd met Christa, VP Product Marketing and Growth bij Quantcast. Gaat het bij jullie thuis nog wel eens ergens anders over, of..?

Martijn: Nee, we proberen werk en privé te splitsen, zoals het zo mooi heet, en die work-life balance te vinden. Maar ik kan niet ontkennen dat hier af en toe de analytics features over de vloer worden gegooid, en dat we allebei thuiskomen en dat we het allebei nog steeds over team structures, optimaliseren van kandidaten, kanalen en de juiste high-rank tactics hebben. Maar daarnaast hebben we gelukkig ook nog genoeg andere dingen te doen. 

Guido: Haha, goed zo.

Martijn: Het gaat niet alléén maar over analytics, alhoewel veel mensen denken dat wij het daar dag en nacht over hebben, dat is namelijk niet zo.

Guido: Doe even een goed woordje bij haar, dan kunnen we haar misschien binnenkort ook in de podcast verwelkomen. Wie weet.

Martijn: Zeker, zeker. D'r Nederlands zal niet perfect zijn, maar als je er één in het Engels doet komt het ook vast goed.

Guido: Precies, we hebben wel wat meer mensen op het programma staan om hier deel te nemen die alleen maar Engels praten, of in ieder geval niet Nederlands. Dat gaat helemaal goedkomen. 

Martijn: Dan denk ik dat ik een goed woordje voor je kan doen.

Guido: Als het maar toepasbaar is op de Nederlandse markt en voor Nederlandse mensen interessant is, dan gaat het helemaal goedkomen.

Martijn: Ja!

Guido: Hé, de RVshare, voor de Nederlanders die het überhaupt het concept niet eens kennen: wat doen jullie?

Martijn: Ja, de makkelijkste manier omdat altijd uit te leggen is eigenlijk dat we AirBnB zijn voor RV's - in Nederland natuurlijk bekend als de caravans en de campers. Daar focussen we ons op. En omdat het, soort van het AirBnB marketingmodel is richten we ons natuurlijk op de owners - de eigenaren - van RV's, om die aan te sluiten. Voor perspectief, er zijn meer dan tien miljoen van dit soort voertuigen, alleen maar in de Verenigde Staten. En eigenlijk, als je naar de gebruikerskant gaat kijken dan heeft bijna iedereen in de US wel een trip gedaan met een RV, of een campingtrip in het algemeen, uiteraard. En iemand herhaalt dat redelijk vaak. Dat is waar we ons op focussen, zeker omdat de hele outdoor-categorie in de US relatief groot is, is het een hele interessante markt. 

Guido: Ja, dat kan ik me ook voorstellen, want die RV's - in Amerika zijn heel veel dingen vaak wel groter dan dat ze in Europa zijn.

Martijn: Absoluut!

Guido: En dus ook duurder, dus ik kan me wel voorstellen dat het huren van die dingen ook heel erg interessant is ten opzichte van er ééntje kopen. 

Martijn: Ja, absoluut, en wat we vooral zien - en dit is de business pitch, waarom we ook bestaan - is dat 86% van de tijd een RV bij iemand in de opslag staat, op z'n oprijlaan, of voor de deur, en wordt 'ie gewoon niet gebruikt. En als je naar dat getal kijkt is het eigenlijk nog erger dan je auto en een soort used case voor platforms zoals Uber en Lyft. Daarin gebruik je je auto doordeweeks om op en neer naar werk te rijden, boodschappen te doen. Maar met een RV gaat het er echt om dat je een weekendtrip doet of op vakantie gaat. Nou heeft de gemiddelde Europeaan iets méér vakantie, sowieso al, dan de gemiddelde Amerikaan, dus daardoor staat die [RV] hier vrij vaak gewoon te verroesten. 

Dat grote verschil met zowel auto's als met bijvoorbeeld een huis dat je kunt verhuren, à la AirBnB, is dat een huis een langere hogere waarde heeft. Het neemt niet in waarde af, lange termijn, wat je bij een auto of een RV wél hebt. En wat bij een auto heel erg het ding is, dat 'ie om de X jaar wordt vervangen, of in een leaseconstructie zit. En de aankoopwaarde van de auto is nog steeds vele malen lager dan die van een RV. Het heeft zeker - aan de kant van de eigenaar is er een heel grote interesse om de RV te verhuren, op den duur, om een deel van het bedrag van die RV of van de lease daarin goed te maken. En daarin proberen we te faciliteren, door aan de gebruikerskant mensen die een trip willen nemen, te zorgen dat dat gefaciliteerd wordt met de eigenaar, zodat de gebruiker een goedkopere trip heeft dan met bijvoorbeeld een vliegticket met de hele familie naar de andere kant van de US en de eigenaar daar natuurlijk een flink percentage oppakt om bijvoorbeeld te helpen bij een afbetaling. Dus dat is in een notendop de hele business.

Guido: Ja. En daar ben jij wannéér begonnen?

Martijn: Ik ben daar begonnen in juni 2018. 

Guido: Oké. Dus ruim een jaar nu.

Martijn: Ruim een jaar, ja.

Guido: Wat trof je daar aan toen je daar kwam? 

Martijn: Het was een heel interessant bedrijf. Ze zijn origineel gestart in Akron, Ohio, waar de gemiddelde Nederlander nog nooit van gehoord heeft, maar als je het verbindt aan de naam LeBron James dan kennen iets meer mensen het. Het is zijn geboortedorp. Eigenlijk als je het moet vergelijken is het een random stadje in één van de provincies in Nederland, waar je waarschijnlijk niet elke dag komt. Drie mannen hebben dat destijds gestart, waarvan één een RV had gekocht voor zijn honeymoon en na de honeymoon kwam 'ie erachter dat het niks werd en dat 'ie hem niet kon verhuren omdat er geen platform was om de RV te verhuren, en dat 'ie het ook niet meer zo vaak zou gebruiken. Hij was toevallig daarvoor al internet-entrepeneur, dus hij bedacht: Hé, laten we eens kijken of we hier een soort van AirBnB-versie van kunnen opstarten.

Guido: Ja, scratching your own itch, toch?

Martijn: Ja, precies! En hij heeft volgens mij bijna nooit zijn eigen RV verhuurd omdat 'ie hem zo omgebouwd had dat er bijna niemand in kon slapen. 

Maar wat ik voor bedrijf aantrof daar was dat het, zeg maar - de product market fit was er heel duidelijk; dus een grote markt binnen travel in de US. Maar wat het vooral was, en hoe ik het altijd ondertussen beschrijf is dat er geen duidelijke marketing leader binnen het bedrijf was. Het bedrijf was 40 mensen op dat moment, we zitten tegen de 100 aan, iets meer dan een jaar later. Wat het vooral was is het gebrek aan strategie en het gebrek van visie waar alles naartoe moest, maar ook tegelijkertijd de mindset van optimalisatie en analytics die miste heel erg, en dat is op zich niet slecht. 

In het begin was het heel vaak: hé, er is een idee op maandag, laten we de hele week executen, om te zorgen dat aan het eind van de week dat we deze hebben uitgewerkt. En dan beginnen we de volgende maandag weer aan het volgende idee. Dat werkt ook heel goed en dat kan ook een goeie mindset zijn, ik ben zeker niet tegen die sprintmentaliteit. Maar zeker als je groeit, en zeker op het niveau en de schaal waarop het hier ging, was er wel meer strategie nodig; veel meer focus op de dingen die echt werkten. Terwijl het hiervoor iets meer was van: hé, laten we gewoon alles maar een beetje proberen en kijken wat blijft hangen, waardoor er veel focus op de optimalisatie in plaats van de creatie bleef hangen. En daardoor denk ik dat de groei niet zo hard ging als het zou kunnen, en die groei hebben we ondertussen wel weer redelijk versneld, en gewoon extra investeringen gedaan in hetgeen wat ook echt nodig was om dit als marketplace helemaal uit te bouwen. Ik durf te zeggen dat er nog een lange weg te gaan is, maar dat we in ieder geval op de goeie weg zitten. Dus we zullen zien over X jaar waar dit eindigt.

Guido: En wat voor optimalisatie heb je dan doorgevoerd?

Martijn: Wat er heel erg ontbrak was het idee over life and value. Gelukkig, maar een soort van ongelukkig op dat moment, was het ook dat het nemen een RV-trip of op een RV-trip gaan is vergelijkbaar met een cruise; je doet het niet elke dag, en als je het doet dan wil je het ook helemaal goed doen. En veel mensen waren er niet van overtuigd dat ze dat meerdere keren zouden doen, dus dat connecten van de data bijvoorbeeld over gebruikers die meerdere keren voorbij kwamen, dat was lastig. 

Over het algemeen was de kwaliteit van de data niet zoals we het zouden willen, en dat zorgde voor problemen om bepaalde kanalen door te meten en de effectiviteit daarvan te verhogen. Er waren gewoon meer mensen nodig, dus we hadden een deel generalisten en een deel specialisten en we hadden vooral meer specialisten nodig, die echt duidelijk bepaalde kanalen konden uitbouwen. 

Dat is heel erg gelukt en langzamerhand krijgen we echt die A/B-test mindset erin, want daar waren ze totáál niet van. Het was vooral heel erg bouwen en creëren en veel minder optimaliseren, terwijl we nu veel meer met specifieke kanalen op het optimaliseren zitten. Omdat, als je op een gegeven moment die basis een keer voorbij bent, dan zit het juist heel erg in het natuurlijk verbeteren van wat er al is en daar nog meer uithalen, omdat dat waarschijnlijk meer oplevert dan nog meer nieuws bouwen. En dat lukt aardig.

Guido: Dus in het begin heel erg naar die data kijken, dat op orde krijgen, voordat je überhaupt aan de slag kan. 

Martijn: Ja!

Guido: En op die specialisten, wat voor mensen heb je daarvoor aangeschakeld?

Martijn: Dus we hadden meer mensen nodig die specifieke kanalen kenden, dus we hebben net iemand aangenomen die het hele engagement-deel oppakt. Dan moet je denken aan e-mailmarketing, maar ook aan elk kanaal dat we kunnen gebruiken om in contact te blijven met huidige klanten. Dat kunnen zijn: pushberichten, letterlijk ook post - direct mail - sms; kanalen waar we de user ook echt kennen en er actief meer mee kunnen doen. We hebben meerdere contentmensen aangenomen. 

Deze markt heeft heel erg een behoefte aan de educatie, zowel aan de gebruikerskant als aan de eigenaarskant. Mensen willen gewoon meer weten en een RV is redelijk complex. Je kunt een nieuwe auto voor de deur zetten en daar rij je waarschijnlijk direct mee weg, met een RV zitten er natuurlijk meer haken en ogen aan, omdat; het heeft een watertank, het heeft elektrische aansluitingen nodig en de hele RV heeft natuurlijk allemaal toeters en bellen. Dus dat was nodig. 

Daarnaast hebben we aan de partnershipskant - ook één van de redenen waarom ik naar New York was, omdat we gewoon meer mensen op partnerships hebben - daar hebben we meer mensen, omdat als je naar de algemene travel-industrie kijkt, dan haalt elk bedrijf ongeveer 5 tot 10 procent van hun omzet daaruit. En toen ik binnenkwam was dat ook niet het geval, dus daarin hebben we geïnvesteerd. En waar we nu de focus naar verleggen aan de hiring- en de teamkant, is meer het opleiden van het huidige team, wat vrij juniorgericht is. De meeste hires die we dit jaar hebben gemaakt waren meer senior van aard, zodat we de juiste ervaring konden binnenbrengen voordat we gingen uitbreiden met meer juniormensen die konden worden opgeleid en getraind.

Guido: En de mensen die je binnen hebt gehaald, heb je dan ook specifiek mensen binnengehaald die ervaring hebben - of in ieder geval openstaan voor die experimenteermindset? 

Martijn: Oh ja, absoluut. Dat was één van de vereisten waar we elke keer naar hebben gekeken: hé, ben je open-minded op dat gebied? Ga je niet uit van de gebaande paden en de oké-mindset, of de status quo-mindset? En in alle gevallen hebben we daar naar gekeken. En als dat matchte was het vooral in het algemeen ook een persoon die matchte met waar het bedrijf voor stond, en waar we als marketingorganisatie zelf voor willen staan. Dus al die hires sluiten daar perfect op aan, gelukkig.

Guido: En heb je naast de juiste mensen aannemen daarvoor ook nog andere dingen gedaan? Of echt die mindset binnen het bedrijf, dat wat te pushen, of..?

Martijn: Jazeker. Dus de afgelopen weken hebben we bijvoorbeeld - of afgelopen máánden - hebben we heel erg gewerkt aan onze data-infrastructuur, ook. We draaien op heel veel soort van stand-alone producten, en die waren steeds minder aangesloten op elkaar, dus we hebben daar gezorgd dat al die systemen meer met elkaar samenwerken. Om met de analytics, met ons e-mailmarketingplatform te kijken naar nog betere product analytics data, om te zorgen dat we elke specifieke stap van een klant aan beide zijden kunnen doormeten, om te zien wat voor effect bepaalde campagnes hebben op het gedrag van eigenaren. We willen bijvoorbeeld dat die bepaalde features aanzetten, en dat is niet iets wat je natuurlijk altijd uit je klassieke web-analytics kan halen, of specifiek daarin kan doormeten omdat het veel minder marketinggericht is. 

Daarnaast was het ook gewoon een stuk educatie van de rest van de organisatie, om te vertellen dat wij wel echt met data aan de slag gaan. Als je vooral kijkt naar de investeringen die we doen in de marketingkanalen, dat het wel echt over vele miljoenen gaat en is het gewoon van belang dat de rest van de organisatie snapt dat, als er ook maar een klein iets kapot is, dat het gewoon heel veel geld op een dagelijkse basis kan kosten. En vooral die interne ontwikkeling en educatie, en het uitleggen daarvan, dat heeft ook heel erg geholpen om bijvoorbeeld de buy-in te krijgen van andere product- of engineering-teams, en met hen te werken met de optimalisatie zelf van het product, waar wij niet essentieel gelijk voor verantwoordelijk zijn. 

Guido: Ja. En gaan jullie wel eens offline user-testing doen, of dat soort dingen?Martijn: Jazeker, in onze kantoren hebben we vaker mensen waarmee we gewoon praten als eigenaren. We krijgen gelukkig veel klantencontact, en we kijken dan vooral naar - we vrágen ze vooral van, oké: wat kunnen we verbeteren? Het product, zeker sinds ik er ben geweest, heeft zichzelf heel erg ontwikkeld, ook vooral door die klantenfeedback. Ik denk nog niet dat we op het niveau zitten dat we bijvoorbeeld dat soort gebruikersonderzoek kunnen doen met ice cream testing en dat soort zaken. Gewoon omdat de maturity van het hele experimenteren nog niet ver genoeg is, maar ook omdat we vooral zagen dat het product zelf - als je het ging vergelijken met de algemene travel-industrie, en bijvoorbeeld een platform zoals AirBnB, waar je makkelijk bijvoorbeeld als eigenaar je product, of je huis of appartement kunt listen - dat dat nu wel op orde was, en daar zaten heel veel zaken in die nogal behoorlijk voor wat frustratie zorgden. Zo hebben we ons vooral gefocust afgelopen jaar om dat soort grote obstakels eruit te halen. Dus iets meer grote optimalisaties doen, waarvan we zeker wel wisten dat ze écht gingen werken, en minder metrics-focus, omdat dat daar ook iets minder van belang is.

Guido: Ja. En zijn er, wat - elke markt heeft wel zijn aparte quirks in hoe mensen browsen, hoe ze selecteren... Jullie hebben sowieso dus dubbele markt; je hebt aan de ene kant de consument, aan de andere kant de mensen die dat verhuren, natuurlijk, zoals je dat op een marktplaats hebt. En ik denk - is het ook heel erg seizoensgebonden, wat jullie..

Martijn: Het is zeker heel erg gebaseerd op seizoenen, dus hoe ik het altijd uitleg: het is een soort van piramide; aan de linker-, aan de rechterkant zit januari-december en daar is gewoon de piramide het laagst. Het is wat anders. Zeker omdat het natuurlijk een groot land is, zien we in de warme staten gewoon meer bezoekers. Florida, waar het het hele jaar lekker warm weer is, daar wil iedereen graag het hele seizoen naartoe. Maar over het algemeen zie je de grootste piek in het midden van de zomer ook daadwerkelijk, omdat dan de meeste mensen op pad gaan. 

Wat iets meer de cultuur is, hier, is dat áls er bijvoorbeeld een vrije dag is op vrijdag of maandag, is dat ze het hele weekend vrij nemen. Niet zozeer onbekend in Nederland, maar ze zijn iets meer van dan gelijk maar een trip doen naar familie, of met vrienden. De festival- of eventscultuur helpt daar ook in. Dus daarin is het heel specifiek, maar ook redelijk vergelijkbaar met andere travelpartijen. We zijn gewoon iets minder retention-based, en dat zie je ook terug in die seasonality. 

Los daarvan - je vraagt net over specifieke quirks waar onze klanten heel erg op zijn gericht, eigenlijk aan beide kanten - is heel erg dat verzekeringsonderdeel, zeg maar. 

Guido: Oh, echt?

Martijn: Het hebben van een verzekering op die auto en tijdens een trip, terwijl je een auto huurt bij de bekende verhuurbedrijven, denk ik dat daar ook wel de focus op ligt, maar ik denk dat dat zeer versterkt wordt door de omvang van het voertuig, het feit dat je met meerdere mensen daar bent en dat je ook in de modder zou kunnen wegzakken tijdens een weekendje kamperen, en omdat het natuurlijk niet je eigen voertuig is, of je eigen caravan. Die verzekering speelt een heel belangrijke rol, maar het is verbazingwekkend groot soms.

Guido: In Amerika een auto huren, in het begin denk je: oh, dat is best wel goedkoop. En dan komen er iets van vijf, zes verzekeringen bij, waarvan je allemaal niet weet wat het doet, en dan denk je van: oké, ja, doe maar. En dan ben je twee keer zoveel kwijt.

Martijn: Ja, losse autoradio betalen, tol betalen... Nee, ik heb het hier meerdere keren moeten doen, dus ik ben er volledig bekend mee ondertussen. 

Guido: Ja, haha!

Martijn: Het is geen pretje.

Guido: Bij The Next Web en bij Postmates en hier, volgens mij kwam je niet echt in een gespreid bedje terecht. En ook bij Springest - wat je net zei - de product market fit was net wél of net niet gevonden bij die bedrijven. Nou ja, de volgende stap is schalen. Ja, waar begin je dan? Wat zou je algemene tip zijn voor mensen die in zo'n situatie zitten?

Martijn: Ik denk dat alle bedrijven in een soort van andere life stage waren, bij Springest was het natuurlijk echt nog nét tijdens die product market fit. Bij TNW en Postmates was die er echt wel héél duidelijk, maar TNW en Postmates zaten... Door verschillende business-modellen en verschillende levels van maturity was het daar heel anders. 

Wat je bij Postmates heel veel merkte was: daar zat zoveel investering in dat bedrijf - zeg maar, honderden miljoenen - dat het echt ging om zo snel mogelijk te groeien, en ook heel vaak ten koste van alles. Terwijl bij andere partijen, en zeker geldt dat ook bij RVshare nú, het veel meer gaat over de langetermijngroei en de juiste dingen doen om echt de waarde voor het bedrijf te bouwen. 

Guido: Lijkt mij een stuk prettiger.

Martijn: Nou, wat je op een gegeven moment leert is dat het allebei zijn charme heeft, maar ik ben het wel deels met je eens dat het wat gezonder is om het op de juiste manier te doen. In bepaalde instanties, en zeker Postmates - wat in Nederland vergelijkbaar is met UberEats en deels Thuisbezorgd, maar dat is net iets anders - is natuurlijk dat het een heel grote markt is en dat er... Je moet daar heel hard rammen af en toe om heel veel market share te kunnen pakken, en dat kost gewoon heel vaak heel veel geld. En dat is het nadeel. Maar als je dan die loyalty bijvoorbeeld daar hebt - en dat was ook één van de dingen waar ze daar volop aan zaten, om het te optimaliseren - is dat er een heel unieke, maar ook heel gezonde business daar opeens voorbij komt.  Als je dat uitvogelt en de juiste klanten voorbij dat struikelpunt krijgt - dat ze opeens profitable zijn - dán is het opeens wél een heel interessante business, maar dat is ook het grootste struikelblok; om die mensen zover te krijgen. 

Bij RVshare is het anders, er is gewoon op andere manieren meer te doen. Er is op een andere manier budget beschikbaar om te investeren en makkelijker te herinvesteren, dan bij veel van de andere partijen. Bij Postmates zat ik bijvoorbeeld echt op die specifieke klantenacquisitie, terwijl er veel meer geld ging naar het behouden van die klanten, terwijl er bij RVshare iets meer balans is tussen die twee. Dat is niet per se goed of slecht, denk ik, in het geval van die andere bedrijven, maar het is anders en dat maakt het op een andere manier weer interessant. Vooral het verschil in al die business-modellen, dat maakt het ook - zeg maar, het werk van optimalisatie is heel erg anders.

Guido: Veel overeenkomsten, maar ook net zoveel verschillen.

Martijn: Ja, ik denk dat het vooral in de proceskant héél veel hetzelfde is; die mentaliteit, de educatie, het proces en de tools op orde krijgen. Maar de manier waarop en de metrics waar je naar kijkt zijn wel specifiek anders. 

Guido: En zijn er ook bij RVshare dingen die je expliciet anders hebt aangepakt dan bij de vorige bedrijven?

Martijn: Ja, ik denk het wel. Dit is een relatief grote markt, maar tegelijkertijd heb je ook weer niet superveel gebruikers op het niveau van Postmates - wat echt om miljoenen gebruikers per maand ging - maar hier hebben we het over tienduizenden tot honderdduizenden, en dat geeft vooral aan dat je af en toe vaker meer dingen tegelijk moet testen, om te zien of het werkt en dat het aanslaat, dan dat je hele specifieke kleine dingen kunt testen. En dat verandert de mindset overall. 

Af en toe kunnen we hier geld in de dingen proberen, omdat de organisatie gewoon wat kleiner is en je hier iets makkelijker kunt schakelen. Er is gewoon op een andere manier bijvoorbeeld meer - zeg maar, de customer acquisition cost ligt hier tientallen keren hoger dan het bijna bij Postmates was. Dat verandert uiteraard ook de manier waarop je dingen aanpakt. Of je nou twee euro pakt per klant of tweehonderd, dat gaat naar mijn mening wel behoorlijke impact hebben op hoe je dingen doormeet; waar je naar kijkt, maar ook waar je op optimaliseert.

Guido: Ja, ik zeg wel vaker met deze podcast, als ik een beetje zeg waar deze podcast voor is en ook met de Facebook-groep, dat het niet alleen maar gaat om kennis delen, maar dat het soms ook een beetje is dat we, ja - we maken van alles mee en dat we ook een beetje bij elkaar moeten kunnen uithuilen. Ik zag een tweet van jou voorbij komen: "Missing an important launch because one variable is off." Vertel, haha!

Martijn: Ja, dat was een... The launch itself ging nog wel oké daarna, het was ook niet de beste launch die we ooit hadden, maar het ging letterlijk om één klein onderdeel in letterlijk e-commerce settings die niet goed was de dag van tevoren. Of op de dag zelf van de launch, we hebben hem uiteindelijk een dag uitgesteld en we zijn alsnog live gegaan, maar, ja. Dat was wel een pittige, omdat we er op het laatste moment nog achterkwamen dat één specifieke pixel in de hele tracking overhaul die we deden, die had niet de juiste data. Die had eigenlijk, simpel gezegd, een percentage van een ander getal moeten zijn, maar dat percentage was ook weer variabel dus we hadden het ook niet even snel ergens in kunnen hardcoden. Dat zorgde we ervoor dat we na 24-48 hours uiteindelijk live gingen. Uiteindelijk was het wel goedgekomen, maar het is wel zo'n dingetje dat je denkt: ja, hadden we ergens nog op moeten schrijven, hadden we in ieder geval live gekund en een dag extra gehad. Maar het zat er niet in, helaas.

Guido: Helaas. Dat was gewoon een nieuwe versie van website die live moest, of..?

Martijn: Nou, dit ging over - een deel van onze tracking leefde en leeft nog steeds eigenlijk in segment. En we hebben een deel van de marketing focus tracking in segment overgeheveld naar Google Tech Manager. Iets meer client-side, iets meer flexibel voor onszelf, om ook andere punten door te meten en iets makkelijker de data door te sturen zonder de hulp van developers. Zeg maar, het bekende verhaal. Dat ging mis in dit geval.  De tweet ging over de transactiewaarde; de transactiewaarde klopte op zich, alleen het moest daarvan het commissiepercentage zijn. 

Guido: Ja, ja precies. Hé, ik noemde net al die Facebook-groep - ik had een oproepje geplaatst van: hé, we gaan met Martijn praten, zijn er nog wat vragen? We hebben twee vragen, ééntje van Lukas en ééntje van Arnoud. Je had ze al gezien, volgens mij. 

Martijn: Ja.

Guido: Nou, laten we met die van Arnoud beginnen. Waar ligt je meeste interesse, SEO of CRO?

Martijn: Ja, wat ik ook al aan Arnoud liet weten - dat weet 'ie denk ik zelf ook wel, ik ken hem goed genoeg - is dat de passie vroeger lag zeker bij SEO en daarna iets meer CRO. Het ligt nu meer, moet ik eerlijk toegeven, bij geen van beiden. Iets meer aan de analytics en nog meer het bepalen van strategie en het opzetten van teams. Het opzetten van marketing- en growth-teams specifiek. Daar ligt nog wel echt meer interesse, ook omdat ik daardoor vaker merk dat ik gewoon nog meer... zeg maar, de mensen die daar op werken binnen de teams waar je mee werkt daar kan ondersteunen, en dat vind ik bijna nog leuker dan specifiek de nieuwste SEO-tactieken bedenken. 

Ik vind het leuker om met hun te brainstormen over waar we daarop moeten focussen, en dan vooral aan de strategische kant. Op een gegeven moment was ik wel klaar met weer de laatste SEO-implementaties doen met specifieke teams daarvoor, en wilde ik iets meer nadenken over de strategie die daarachter zat, in plaats van zelf tekstjes schrijven en af en toe te moeten optimaliseren. Allemaal helemaal niks mis mee, maar op een gegeven moment waren er toch dingen die leuker waren.

Guido: Ja, in je twitterbio staat ook "growth, marketing, product branding, SEO, analytics". Lekker breed, toch?

Martijn: Ja, de SEO heb ik er uiteindelijk ingelaten omdat het toch het grootste gedeelte van mijn background was, maar ik moet toegeven dat, elke keer als ik het voorbij zie komen, dat ik er ook twijfel of ik het eruit zal halen.

Guido: Nou, doe dat even voordat de aflevering live gaat, dan haal ik die eruit.

Martijn: Ja, ja, zal ik doen ja. Kun je zien of ik ernaar geluisterd heb.

Guido: Ja. En Lukas Vos had ook een vraag: zijn er significante verschillen in benadering CRO in de US ten opzichte van Nederland? En wat kunnen we daar in Nederland nog van leren (of eventueel andersom)?

Martijn: Ik denk dat, zeker in het gebied van San Francisco - naast of in Silicon Valley, hoe je ernaar wilt kijken - is zoveel meer de mindset om naar de data te kijken. Het grote verschil is dat elk Amerikaans bedrijf, zeker hier in de buurt, is groter, heeft meer resources - wel of niet door de investering die ze hebben gehad. Wat je vaak merkt is dat alles begint vanuit de data en de mindset vanuit het optimaliseren daarin. Dat wil niet zeggen dat dat in Nederland helemaal niet is, ik denk er in Nederland - zeker ook mensen die naar deze podcast luisteren - mensen daar heel erg goed in zijn en vooraan in staan. Maar wat je over het algemeen wel merkt is dat die bedrijven wat verder zijn in die mindset; dat ze daar meer aan gewend zijn en dat iedereen ook die richting volgt, in plaats van dat een C-level of een VP of SVP zegt van: oké, dit is de richting die we op gaan. Dan zullen ze er hier iets vaker oké mee zijn qua richting, maar ze zullen daar vaker alle getallen voor gebruiken om die richting óf bij te sturen, óf daarin te bewijzen dat je op het juiste pad zit. En ik denk dat het daar wel wat anders is. 

Het maturity level over het algemeen in het data gebruiken, bij zeker de grotere bedrijven - die wat meer kracht hebben daarvoor, maar ook wat meer kunnen investeren in senior talent - die zijn er vaak wat verder in. Toen ik bijvoorbeeld bij Postmates binnenkwam was gewoon letterlijk driekwart van het bedrijf, wat echt honderden mensen waren - niemand gebruikte daar bijna soort van visualisatietools voor hun data, ze zaten allemaal keihard Siegel te kloppen om de data uit hun eigen database te trekken. Van de financiële accountmanager soms, tot de product analyst en tot bepaalde engineers, om te bewijzen dat een bepaalde feature werkte. Nou had dat natuurlijk ook zijn voordelen en zijn nadelen in dat specifieke geval, maar het bewijst wel hoe het gebruik van data daarin voorop staat. Er kwam eigenlijk niemand binnen die die kennis bijvoorbeeld niet had, en ik denk dat dat een groot verschil is. Nou wil ik niet zeggen dat het altijd goed is, ik denk dat je zeker aan de marketingkant een deel creatieve mensen moet hebben die wel naar de data kijken, maar niet specifiek daarin de hele dag hoeven te bivakkeren. Maar de hele mindset en de hele ondersteuning daarvan en het begrijpen daarvan, maar ook vooral het willen investeren in de infrastructuur - en dan vooral de integratie zelf, dat is veel meer. 

En ik denk dat er ook veel meer een connectie is - vergeleken met Nederland en Europa in het algemeen - is dat er veel meer engineers betrokken zijn in dit soort projecten. Wat we veel in Nederland gezien hebben bij veel partijen, is dat er óf een agency binnenkomt en deels vertelt wat er moet gebeuren, de klant nog steeds op de juiste manier opleiden, maar dat zij veel vaker verantwoordelijk zijn voor het bouwen van de testen. Zeg maar, depending on de complexiteit van zo'n test. Terwijl het hier in de Verenigde Staten veel meer is, van: de developer is vanaf moment één aanwezig, gebruikt de data, voegt ook de tracking toe om te zorgen dat je nog beter kunt doormeten en heeft een veel meer essentiële rol in het hele proces, omdat ze veel vaker van het bouwen zijn dan van het kopen in bepaalde gebieden. Ik denk dat dat een behoorlijk verschil, in ieder geval van wat ik tot nu toe heb gezien. 

Guido: Oké, dus veel meer data-gedreven bezig zijn en veel meer dingen in-house willen doen? 

Martijn: Ja.

Guido: Ook omgekeerd nog dingen die Amerikanen misschien van Nederland - of ja, Nederland is natuurlijk heel klein - maar dingen die we in West-Europa doen qua CRO?

Martijn: Ik denk dat in Europa nóg iets meer vanuit de gebruiker wordt gedacht. Zeg maar, die data-driven mindset zorgt er af en toe voor dat ze iets te vaak naar die kwantitatieve data kijken. Verder kan ik niet op heel veel ideeën komen die hier nog echt missen. Dat wil niet zeggen dat alles hier perfect is, verre van. Maar dat zijn wel de grootste verschillen.

Guido: Dat is inderdaad ook wel wat ik zie, ja. De data-gedrevenheid is er, maar het is wel vaak die kwantitatieve data waarnaar gekeken wordt.

Martijn: Ja, "laten we toch nog maar een keer de gebruiker vragen"; dat mist er af en toe.

Guido: Ik snap het ook wel, sowieso in onze industrie hebben we natuurlijk - iedereen heeft Google Analytics geïnstalleerd en lekker aanstaan, dus die data héb je gewoon. Natuurlijk heb je ook heel erg de neiging om daarnaar maar te gaan kijken en dat te gaan gebruiken, en die kwalitatieve data, daar moet je ook maar een keer je best voor gaan doen. Dus dat is lastiger.

Martijn: Nou, het argument dat ook af en toe naar boven komt is hier, is dat markten natuurlijk vele malen groter zijn. Zeg maar, onze markt met travel is al vele malen groter dan Nederland bijvoorbeeld zelf is, en ook bepaalde gebieden in heel Europa. Daardoor zijn ze vaker bang voor - dat is natuurlijk niet altijd terecht - is dat bijvoorbeeld de mening van teamklanten niet specifiek de mening van iedereen waarborgt, terwijl je daar in Europa bij specifieke doelgroepen misschien iets sneller mee weg kan komen. Wat ik al zei, dat is niet de reden waarom dat altijd zo zou moeten. Ik denk dat het zeker nog vaker kan, maar ik hoor dat argument af en toe. 

Guido: Ja, en wat ik dan altijd zeg is: het gaat er niet om óf het één, óf het ander gebruiken, het gaat juist om die combinatie; ze vullen elkaar aan. Er zijn genoeg dingen die in Google Analytics - of welke analytics tool je dan ook gebruikt - gewoon niet naar boven komen. De reden daarachter is dat je ziet wat er gebeurt, maar je hebt geen idee waarom. En daarom vullen ze elkaar heel goed aan. En inderdaad, ja, als je alleen die mensen interviewt en daarop je hele business verandert, dat zou ik ook niet aanraden.

Martijn: Nee, dat is niet aan te raden nee. 

Guido: Maar het is natuurlijk wel wat je zegt: als je in Amerika een business start, dan heb je natuurlijk heel snel een veel grotere markt die je kan bereiken, dus... Ja kijk, in Nederland, als je hier wat doet - je moet die klanten er wel bij gaan halen, want je hebt niet altijd de kwantitatieve data om beslissingen op te nemen.

Martijn: Ja, absoluut.

Guido: De markt is gewoon veel kleiner

Martijn: Nee, absoluut. Wat je ook veel vaker ziet is dat, zeg maar, de kleinere start-ups en de internetkant waar ik de meeste tijd tot nu toe heb doorgebracht, is dat je daar heel vaak ziet dat daar een grotere investering wordt gedaan zodat ze sneller kunnen schalen, en dat er daardoor ook meer en sneller data is, omdat ze ook bereid zijn om meer te investeren in bijvoorbeeld traffic aquisition om die data eruit te halen. Vooral die schaalgrootte zorgt voor een deel andere problemen, maar ik denk dat die ook die maturity kan versnellen. En ik denk dat dat een extra essentieel verschil is; die snelheid überhaupt hier, dóór die schaalgrootte, dat geeft een extra accelerator aan dit hele verhaal.

Guido: Ja, user research kost over het algemeen ook meer tijd. En als je nou eenmaal die bak data hebt, dan kun je wel met hagel gaan schieten - je hoeft niet zo precies te zijn als in Nederland - maar het werkt wel, zeg maar. 

Martijn: Ja, ja, zeker. Maar ik denk dat het daardoor ook is, dat als je naar de toolkant kijkt is dat er veel meer - en het is natuurlijk ook een onzin-buzzword, de machine learning-achtige tools worden hier voor optimalisatie meer gebruikt, omdat er gewoon meer data beschikbaar is, en je hebt die data ook sneller; omdat er gewoon meer van is. Daardoor kunnen ze wat meer testen, ook. Maar het heeft zeker inderdaad ook een keerzijde, omdat die data kan dingen bewijzen die in de realiteit niet altijd kloppen, of ook écht van waarde zijn. We zagen wel wat used cases daarvan bij Postmates, af en toe.

Guido: Hé, laten we een beetje gaan afronden. Waar gaan jullie de komende twaalf maanden aan werken? Wat gaan jullie doen?

Martijn: Waar we nu steeds meer op focussen is - we hebben heel veel nation-wide gedaan, over de hele US. Er gaat steeds meer focus zijn op die specifieke regio's, omdat we zien dat iemand specifiek in Los Angeles area, of bijvoorbeeld op San Fransisco op zoek is naar een camper/RV. Ze willen meer die klanten specifiek daarop vastbinden, maar ook de eigenaren zorgen dat we lokaal meer RV's beschikbaar hebben - je rijdt natuurlijk niet zomaar je RV van Florida naar San Fransisco om hem daar te verhuren - dus dat is van belang; daar willen we gewoon meer data over verzamelen en meer specifieke campagnes en het product op aanpassen. 

Gelukkig zitten de goeie getallen aan de marketingkant, dus kunnen we meer en flexibel investeren in onze marketingkanalen. Finance heeft ons wat minder restricties opgelegd, en we zijn daar gelukkig wat vrijer in - natuurlijk, zolang de getallen maar goed lijken. Dus dat zorgt voor een hoop extra werk en ik hoop wat meer digitale dingen te doen in 2020\. We kijken letterlijk naar de klassieke out-of-homecampagnes, die hier in de US iets beter door te meten zijn, om te zien wat we daaruit kunnen halen. Dat heeft ook heel erg zijn verband ook weer met die regio-aanpak. Om te zeggen van hé: we zetten even wat billboards of wat andere offline materials neer ergens, om te zien wat voor effect het heeft in specifiek zo'n stad of regio. Dus dat zit er in grote lijnen aan te komen voor de komende twaalf maanden.

Guido: Wat maakt die dingen bij jullie beter meetbaar?

Martijn: Omdat het zo geo-based is kunnen wat vaker op dat lokale niveau zien of het echt een impact heeft, dus bijvoorbeeld - weet ik veel, dit was echt zo'n klassiek ding wat ik geleerd heb bij Postmates: ze konden daar doormeten, bijvoorbeeld, als heel Los Angeles opeens Postmates-billboards had, dan zagen we ook wel echt direct een verschil in user engagement, loyalty en retention, maar ook bijvoorbeeld de life and value van dat soort cohort-users. Die was op een gegeven moment echt anders dan wanneer er bijvoorbeeld een billboard in de buurt had gestaan. En dat soort dingen willen we naar RVshare brengen; als we bijvoorbeeld een actie doen in Las Vegas, om te zien of het aantal percentages van bepaalde gebruikers stijgen. 

Ik denk dat dat iets makkelijker door is te meten, omdat bepaalde regio's hier groter zijn, en dit product is heel regio-specifiek. Waar denk ik heel veel bedrijven moeite mee hebben is bijvoorbeeld dit op global-base of op country-base level doormeten. Hier is het iets meer dat we op basis van de staat, of op basis van specifieke steden, of zelfs sub-areas/neighbourhoods het niveau kunnen doormeten daarin.

Guido: Ja, precies. Ik dacht: misschien zijn QR-codes ineens heel populair geworden in de VS, dat je daardoor kan doormeten, maar dát is nog steeds niet zo dus.

Martijn: Ik hoorde dat het net zo groot gaat worden als het internet, maar... Je hoort wel andere dingen, ook, hier in de buurt.

Guido: In Azië is het dat wel, maar ja. 

Martijn: Ja. Je moet Silicon Valley niet altijd geloven, maar QR-codes gaat groot worden, weer.

Guido: Ja, precies. "Weer"? Haha. Heel goed.

Martijn: Terug van weggeweest, Guido. Komt allemaal goed.

Guido: Nou ja, ik zal voortaan QR-codes gaan delen op Twitter als mensen de aflevering willen. Wie weet.

Martijn: Hé, optimaliseren. Je moet het altijd testen.

Guido: Hé, en dat is natuurlijk redelijk data-driven, waaraan jullie gaan werken, maar haal je ook nog ergens extern - los van het er thuis met Christa over hebben - maar, haal je ook nog extern ergens je inspiratie vandaan?

Martijn: Jazeker! Met Christa kom ik gelukkig nog steeds meer dan genoeg op heel veel congressen, dus dat helpt. Niet altijd aan de kenniskant heel veel, maar vooral voor het netwerk de juiste mensen vinden. Waar de focus vooral heel erg op ligt is het team helpen. Dus niet zozeer altijd mezelf, maar meer die specifieke mensen daarin helpen. Nog steeds veel koffie drinken met mensen die het snappen, of af en toe een belletje inplannen als zij iets meer weten van een bepaald onderwerp en daaruit inspiratie halen. Sinds ik hier woon ben ik ook meer boeken gaan lezen, dus dat helpt óók. Ja, dat is het wel een beetje.

Guido: Nog boekentips?

Martijn: Boekentips... Ik heb nét Secrets of Sand Hill Road van Scott Kupor - één van de partners van Andreessen Horowitz - uitgelezen. Gaat nou niet echt over optimaliseren - nou ja, optimaliseren van geld voor een visiepotentieel - maar het gaat over, niet specifiek de geheimen, maar meer de onbekende kant van het visieleven. Er zitten vooral wat interessante financiële constructies in die gewoon niet specifiek toepasbaar zijn, maar zeker wel interessant om te weten, en gewoon interessant om meer over te weten. Iets Meer Marketing- en Optimalisatiegedreven was één van mijn favoriete boeken. Het High Growth Handbook van Elad Gil, waarin hij alle specifieke onderdelen van een blitzscaling-organisatie doorneemt, en daar zaten meer actiedingen in dan iets anders. Ik denk dat dat wel de hoogtepunten waren van afgelopen maanden. 

Guido: Ja goed, we zullen ze vermelden in de shownotes.

Martijn: Ja.

Guido: Gaan we doen. Hé Martijn, superleuk! 

Martijn: Ja, dankjewel!

Guido: Ik vond het een heel leuk gesprek.

Martijn: Leuk dat ik er eindelijk mocht zijn.

Guido: Eindelijk, haha. Een halfjaar zitten wachten op die uitnodiging.

Martijn: Ja, tsjongejonge... Nee, valt mee.

Guido: Haha, heel goed. Hé, dankjewel, en wij spreken elkaar ongetwijfeld weer snel op Twitter of andere social media-kanalen.

Martijn: Komt helemaal goed. Thanks, Guido.

Guido: Dankje

Martijn: Joe!

Te gast in deze aflevering:
CRO.CAFE host:

Guido Jansen

LinkedInTwitter
Neurofied
In 1 dag meer leren over menselijk gedrag en neuromarketing? Volg de Neurofied Crash Course!

Gebruik de code CROCAFE en je krijgt 10% korting!
Bekijk de Crash Course

Enkele andere afleveringen die je vast (ook) heel tof gaat vinden:

Aflevering

Emerce Interview: Bart van der Meer

► Beluisteren
Aflevering
15

CRO als nieuwe rol, waar start je die reis?

► Beluisteren
Aflevering
25

Hoe bol.com een eigen experimentatie tool ontwikkelt

► Beluisteren
Aflevering
21

Experimenteren tijdens pieken

► Beluisteren
Bekijk alle afleveringen