Tip:
Highlight text to annotate it
X
Video nr. 5: AdWords kampagneeksperimenter: Forstå dine eksperimentresultater og den statistiske signifikans
I trin 3 i Opsætning af et AdWords kampagne- eksperiment lader du dit eksperiment køre og
overvåger resultaterne. Denne lektion hjælper dig med at forstå nogle af de resultater, du
evt. ser i løbet af den tid, dit eksperiment kører.
Efterhånden som kampagneeksperimentet kører, vil du se data blive opsamlet for dine kontrol- og eksperiment-
opdelinger på kampagne-, annoncegruppe- og søgeordsniveau. Husk, at hvis du ikke allerede
får vist separate kontrol- og eksperimentrækker for dine faner, kan du aktivere dem ved at klikke på
Segmenter. Derefter flytter du musen ned og klikker på Eksperiment.
Efterhånden som dine resultater opsamles, vil du se forskellige typer indikatorer af statistisk signifikans
i grænsefladen. Det vil hjælpe dig til at forstå, hvorvidt de data, du sammenligner,
er forskellige.
En statistisk signifikant forskel er en forskel, der sandsynligvis ikke er opstået tilfældigt.
Hvis en værdi ikke er ændret med et statistisk signifikant mængde, er den muligvis ikke blevet
påvirket af din eksperimentændring.
Et gråt op/ned-ikon viser, at en værdi ikke er ændret med et statistisk signifikant mængde.
En registreret forskel kan evt. bare være eksperimentel støj.
Et opadpegende ikon viser, at en værdi er øget med et statistisk signifikant mængde.
Hvis du vælger at anvende dine eksperiment- ændringer på alle auktioner, vil du kunne
forvente, at denne værdi vil stige.
Et nedadpegende ikon viser, at en værdi er faldet med et statistisk signifikant mængde.
Hvis du vælger at anvende dine eksperiment- ændringer på alle auktioner, ville du kunne
forvente, at denne værdi vil falde.
Blandt disse ikoner er der også tre trindelinger, der viser, hvor sikker du kan være på, at
dine resultater skyldes dine eksperiment- ændringer, frem for en tilfældighed:
En enkelt pil, der peger op eller ned, angiver en sandsynlighed på 95 % for, at værdien er øget
eller faldet. Sagt på en anden måde, så viser statistikkerne, at hvis du anvender ændringerne
fuldt ud, vil der kun være 5 % chance for, at værdien ikke vil bevæge sig i den angivne retning
– alt andet lige.
To pile, der peger op eller ned, angiver en sandsynlighed på 99 % for, at værdien er øget
eller faldet. Sagt på en anden måde, så viser statistikkerne, at hvis du anvender ændringerne
fuldt ud, så vil der kun være 1 % chance for, at værdien ikke vil bevæge sig i den angivne retning
– alt andet lige.
Tre pile, der peger op eller ned, angiver en sandsynlighed på 99,9 % for, at værdien er øget
eller faldet. Sagt på en anden måde, så viser statistikkerne, at hvis du anvender ændringerne
fuldt ud, så vil der kun være 0,1 % chance for, at værdien ikke vil bevæge sig i den angivne retning
– alt andet lige.
Husk, at hvis du kører et eksperiment med eksperiment/kontrol-opdelingsstørrelser på
andet end 50/50 (f.eks. 70/30 eller 20/80), så kan de statistikker, din kampagne har opsamlet i
kontrol- og eksperimentopdelingerne ikke sammenlignes en til en. Lad os f.eks. sige, at
du kører et 90/10-eksperiment. Hvis du ingen eksperimentændringer foretager, vil du kunne
forvente, at der vil være 900 visninger i kontrol- opdelingen for hver 100 i eksperimentopdelingen.
Det betyder, at hvis du kan se 900 visninger i din kontrolopdeling og 400 visninger
i eksperimentopdelingen, vil det indebære en statistisk signifikant stigning i visningerne
(fordi 400 vil være langt højere end de 100, du kunne forvente, hvis der ikke foretages
ændringer, hvilket indebærer, at hvis du anvender dine ændriger, kan du forvente en visningsstigning),
selvom tallet 900 umiddelbart er større end tallet 400.
50/50-opdelinger er langt nemmere at sammenligne (fordi absolutte tal bør være de samme, hvis dine
ændringer ikke har nogen effekt), og mange kampagner har ikke et højt nok trafikomfang til at kunne
nå frem til en konklusion med ikke-50/50-opdelinger. Derfor anbefaler vi,
at de fleste annoncører kører 50/50-eksperimenter, medmindre man er parat til selv at foretage beregninger
for at finde frem til den antydede værdiændring i procent, hvis eksperimentændringerne blev
indført på alle auktioner.