„Optimizedly Intelligence Cloud“: kaip naudoti „Stats Engine“, kad A/B testas būtų protingesnis ir greitesnis

Optimizuota „Stats Engine“ ir A/B testavimo strategijos

Jei norite paleisti eksperimentinę programą, kuri padėtų jūsų verslui išbandyti ir išmokti, tikėtina, kad naudojate „Optimizely Intelligence Cloud“ - Arba bent jau pažiūrėjai. „Optimizely“ yra vienas galingiausių žaidimo įrankių, tačiau, kaip ir bet kuris kitas įrankis, galite jį naudoti neteisingai, jei nesuprantate, kaip jis veikia. 

Kuo „Optimizely“ toks galingas? Jo funkcijų rinkinio esmė yra labiausiai informuotas ir intuityvus trečiosios šalies įrankio statistikos variklis, leidžiantis daugiau dėmesio skirti svarbių testų tiesioginei transliacijai-nesijaudinant, kad klaidingai interpretuojate savo rezultatus. 

Panašiai kaip tradicinis aklas medicinos tyrimas, A / B testavimas atsitiktinai parodys kitaip gydymas skirtingiems naudotojams, kad galėtumėte palyginti kiekvieno gydymo veiksmingumą. 

Tada statistika padeda mums daryti išvadas apie tai, koks veiksmingas šis gydymas gali būti ilgalaikis. 

Dauguma A/B testavimo įrankių remiasi vienu iš dviejų tipų statistinių išvadų: dažnos ar Bajeso statistikos. Kiekviena mokykla turi įvairių privalumų ir trūkumų - dažnos statistikos reikalauja, kad imties dydis būtų nustatytas prieš atliekant eksperimentą, o Bajeso statistika daugiausia rūpinasi gerų kryptingų sprendimų priėmimu, o ne konkrečiu skaičiumi dėl poveikio, kad būtų pateikti du pavyzdžiai. „Optimizely“ supervalstybė yra ta, kad tai vienintelė šiandien rinkoje esanti priemonė geriausias iš abiejų pasaulių požiūris.

Galutinis rezultatas? Optimizuotas leidžia vartotojams greičiau, patikimiau ir intuityviau vykdyti eksperimentus.

Tačiau norint visapusiškai pasinaudoti tuo, svarbu suprasti, kas vyksta užkulisiuose. Čia yra 5 įžvalgos ir strategijos, padėsiančios jums naudotis „Optimizely“ galimybėmis kaip profesionalams.

1 strategija: Supraskite, kad ne visi rodikliai yra vienodi

Daugelyje testavimo įrankių dažniausiai pamirštama problema yra ta, kad kuo daugiau metrikos pridedate ir stebite kaip savo testo dalį, tuo didesnė tikimybė, kad dėl atsitiktinės atsitiktinumo pamatysite klaidingas išvadas (statistikoje tai vadinama „kelių bandymų problema“). “). Siekdama, kad rezultatai būtų patikimi, „Optimizely“ naudoja keletą valdiklių ir pataisymų, kad tikimybė, kad tai įvyktų, būtų kuo mažesnė. 

Šie valdikliai ir pataisymai turi dvi pasekmes, kai einate nustatyti testų „Optimizely“. Pirma, metrika, kurią nurodote kaip savo Pagrindinė metrika greičiausiai pasieks statistinę reikšmę, o visi kiti dalykai bus pastovūs. Antra, kuo daugiau metrikos pridėsite prie eksperimento, tuo ilgiau jūsų vėlesnė metrika užtruks, kad pasiektų statistinę reikšmę.

Planuojant eksperimentą, įsitikinkite, kad žinote, kuri metrika bus jūsų tikroji šiaurė priimant sprendimus, ir nustatykite ją kaip pagrindinę metriką. Tada likusį metrikos sąrašą laikykite liesą, pašalindami viską, kas per daug nereikalinga ar lietinga.

2 strategija: Sukurkite savo individualius atributus

„Optimizely“ puikiai suteikia keletą įdomių ir naudingų būdų, kaip segmentuoti eksperimento rezultatus. Pvz., Galite ištirti, ar tam tikri gydymo būdai geriau veikia staliniuose kompiuteriuose, o ne mobiliuosiuose, ar pastebėti srauto šaltinių skirtumus. Tačiau kai jūsų eksperimentinė programa baigiasi, greitai norėsite naujų segmentų-jie gali būti būdingi jūsų naudojimo atvejui, pvz., Vienkartinių ir prenumeratos pirkinių segmentai, arba tokie bendri kaip „nauji ir grįžtantys lankytojai“ (kurie, atvirai kalbant, mes vis dar negalime suprasti, kodėl tai nėra pateikta iš dėžutės).

Geros naujienos yra tai, kad naudodami „Optimizely“ projekto „Javascript“ lauką inžinieriai, susipažinę su „Optimizely“, gali sukurti bet kokį įdomių tinkintų atributų skaičių, pagal kuriuos lankytojai gali būti priskirti ir suskirstyti į segmentus. „Cro Metrics“ sukūrėme daugybę atsargų modulių (pvz., „Nauji ir grįžtantys lankytojai“), kuriuos įdiegiame visiems savo klientams per jų projekto „Javascript“. Šio gebėjimo panaudojimas yra pagrindinis skirtumas tarp brandžių komandų, turinčių reikiamų techninių išteklių, padedančių joms atlikti, ir komandų, kurios stengiasi išnaudoti visas eksperimentų galimybes.

3 strategija: Naršykite „Optimizely“ statistikos spartintuvą

Viena dažnai per daug išreikšta testavimo įrankio funkcija yra galimybė naudoti „kelių ginklų banditus“, mašininio mokymosi algoritmo tipą, kuris dinamiškai keičiasi, kai jūsų srautas paskirstomas eksperimento metu, kad kuo daugiau lankytojų būtų „laimėti“ kiek įmanoma. Daugiarankių banditų problema yra ta, kad jų rezultatai nėra patikimi ilgalaikio veikimo rodikliai, todėl tokio tipo eksperimentų naudojimo atvejai apsiriboja tik tokiais atvejais, kaip laikas, pavyzdžiui, pardavimo skatinimas.

Tačiau optimizuotai naudotojai, turintys aukštesnio plano planus, turi kitokio tipo banditinį algoritmą - „Stats Accelerator“ (dabar „Banditų“ viduje žinomas kaip „Accelerate Learnings“). Šioje sąrankoje vietoj to, kad bandytumėte dinamiškai paskirstyti srautą į našiausią variantą, „Optimizely“ dinamiškai paskirsto srautą pagal variantus, kurie greičiausiai pasieks statistinę reikšmę. Tokiu būdu galite išmokti greičiau ir išsaugoti tradicinių A/B testų rezultatų pakartojamumą.

4 strategija: pridėkite jaustukų prie savo metrikos pavadinimų

Iš pirmo žvilgsnio ši idėja tikriausiai skamba ne vietoje, net beprotiškai. Tačiau pagrindinis aspektas, užtikrinantis, kad skaitote tinkamus eksperimento rezultatus, prasideda nuo to, kad auditorija suprastų klausimą. 

Kartais, nepaisant visų mūsų pastangų, metrikos pavadinimai gali tapti painūs (palaukite - ar ši metrika suaktyvinama, kai užsakymas priimamas arba kai naudotojas patenka į padėkos puslapį?), Arba eksperimente yra tiek metrikos, kad rezultatai slenkami aukštyn ir žemyn puslapis sukelia visišką pažinimo perkrovą.

Pridėjus jaustukų prie metrikos pavadinimų (tikslai, žalios varnelės, net didelis pinigų maišas gali veikti), puslapiai gali būti daug geriau nuskaitomi. 

Pasitikėkite mumis - perskaityti rezultatus bus daug lengviau.

5 strategija: Dar kartą apsvarstykite savo statistinės reikšmės lygį

Rezultatai laikomi įtikinamais „Optimizely“ eksperimento kontekste, kai jie pasiekiami statistinis reikšmingumas. Statistinė reikšmė yra sunkus matematinis terminas, tačiau iš esmės tai yra tikimybė, kad jūsų pastebėjimai yra tikro skirtumo tarp dviejų populiacijų rezultatas, o ne tik atsitiktinis atsitiktinumas. 

„Optimizely“ statistiniai reikšmingumo lygiai „visada galioja“ dėl matematinės koncepcijos, vadinamos nuoseklus bandymas - tai iš tikrųjų daro juos daug patikimesnius nei kitų testavimo įrankių, kurie, jei juos perskaitote per anksti, yra linkę į įvairias „žvilgsnio“ problemas.

Verta pagalvoti, kokio statistinio reikšmingumo lygį laikote svarbiu savo testavimo programai. Nors 95% yra mokslo bendruomenės susitarimas, mes tikriname svetainės pakeitimus, o ne vakcinas. Kitas įprastas pasirinkimas eksperimentiniame pasaulyje: 90 proc. Bet ar esate pasirengęs priimti šiek tiek daugiau netikrumo, kad galėtumėte greičiau atlikti eksperimentus ir išbandyti daugiau idėjų? Ar galėtumėte naudoti 85% ar net 80% statistinę reikšmę? Sąmoningas rizikos ir naudos santykis laikui bėgant gali išmokėti eksponentinius dividendus, todėl gerai tai apgalvokite.

Skaitykite daugiau apie „Optimizely Intelligence Cloud“

Šie penki greiti principai ir įžvalgos bus nepaprastai naudingi, kai nepamiršite naudodami „Optimizely“. Kaip ir bet kurio įrankio atveju, reikia įsitikinti, kad gerai suprantate visus pritaikymus užkulisiuose, todėl galite įsitikinti, kad įrankį naudojate efektyviai ir efektyviai. Turėdami šiuos supratimus, galite gauti patikimų rezultatų, kurių ieškote, kai jų reikia. 

Ką manote?

Ši svetainė naudoja "Akismet", kad sumažintų šlamštą. Sužinokite, kaip apdorojamas jūsų komentaras.