How to Design Smart Business Experiments og den andre

Question 1

Hva er noen eksempler på hvorfor ikke et ekspriement fungere?

Answer 1

Artikkelen bruker en bank som et eksempel:
banken skulle forbedre costumer service. Her er noen ting som de gjorde feil:

• Endret for mange predikatorer samtidig, så man fant ikke riktig årssaksammenheng.
• Hadde ingen kontrollgruppe, det var derfor umulig å si om hendelsen som skjedde ikke hadde skjedd uansett.
• De hadde kontrollgruppe på et ekspriment. De skulle måle effekten av å ha en tv på venterommet. De hadde derimot kun en kontrollgruppe og en test gruppe, det var derfor ikke nok statistisk bevis.

Question 2

Hva er hovedfordelen med formalisert testing i næringslivet?

Answer 2

At det gir mer pålitelig innsikt enn intuisjon, spesielt i taktiske beslutninger som kan testes systematisk.

Question 3

I hvilke situasjoner er testing lite nyttig eller upraktisk?

Answer 3

Ved store strategiske beslutninger, som fusjoner eller forretningsmodellskifter, hvor testing er umulig eller tar for lang tid

Question 4

Hva må være tilstede for at en test skal gi meningsfull innsikt?

Answer 4

Et klart definert og målbart utfall, mange sammenlignbare testmiljøer, og en hypotese om hvordan tiltaket vil påvirke resultatet.

Question 5

Hva kjennetegner et godt ekspriment?

Answer 5

Isolerer en uavhengig variabel

Måler effekten av en avhengig variabel

Holder andre faktorer konstante.

Question 6

For å sikre at et ekspriment er verdt innsatsen, må selskaper stille seg selv noen viktige spørsmål, hva er de?

Answer 6

1. Har eksprimentet et klart formål?
2. Har intressenter forpliktet seg til å følge resultatene
3. Er eksprimentet gjennomførbart
4. Hvordan sikres pålitelige resultater
5. Får vi maksimal verdi ut a ekperimenter

Question 7

Forklar “har eksprimentet et klart formål”

Answer 7

Selskaper bør gjennomføre eksprimenter dersom det er den enste praktisk måten å besvare spesifikke spørsmål.

Mange selskap feiler ved å ikke definere presise hypoteser. En hypotese må teste en spesifikk årsak og effekt.

Noen ganger er det også nøvendig å undersøke bieffekter.

Question 8

forklar “har intressenter forpliktet seg”

Answer 8

Et ekspriment er verdiløst hvis beslutningstakere ikke akspeterer resultatene. Derfor må alle si seg enig i å vurdere alle funn, ikke bare de som støtter deres syn.

Question 9

Forklar:”Er eksprimentet gjennomførbart?”

Answer 9

Casual denity - kompleksitet i variabler, gjør det vanskelig å trekke sikre konklusjoner.

For å håndtere miljøer med høy årsakstetthet må selskaper vurdere om det er gjennomførbart ved å bruke et stort nok utvalg til å jevne ut effekten av alle andre variavler enn de som skal studeres. Kostanadene til dette kan være store, og detfor ikke mulig.

Question 10

Forklar “hvordan sikrte pålitelige resultater?”

Answer 10

Tilfeldig utvalg. Det er viktig at man velger helt tilfeldig. Dette eliminerer bias osv. Det er viktig at man har en kontrollgruppe ved siden av den tilfeldig valgte gruppa.

Blindtester: Dette skal motvirke Hawthorne effekten. Folk endrer atferden sin når de blir observert. Her er det beste dobbelt blindtester hvor hverken testperson eller kontrollgruppe vet hvem hun er.

Big data: Man kan finne et utvalg som passer kontrollgruppen. På den måten kan du ha statisisk gyldighet på et lite utvalg

Question 11

Er alltid et større utvalg bra?