Proves multivariants i proves A / B simplificades: com provar tècniques d’optimització de pàgines web

multivariate testing

Introducció:

Hi ha molts llocs web i aplicacions que sovint fem servir. Tot i que els fem servir, probablement no prestem molta atenció a la forma en què el lloc web va arribar a ser la seva versió actual; en canvi, si alguna cosa no sembla correcte, probablement no tornarem a visitar el lloc o l’aplicació.

La pregunta és: Què cal per fer-ho bé?

Què aprendreu:

• Proves multivariants i proves A / B
• Què és la prova multivariant?
• Tipus de proves MVT:
• Com fer proves multivariants
• Errors que s’han d’evitar
• Fer i no fer
• Pros i contres
• Proves A / B
• Avantatges i inconvenients de les proves A / B:
• Proves A / B vs proves multivariants vs proves dividides
• Proves multivariants
• Eines de proves A / B / Split / Multivariate
• Lectura recomanada

Proves multivariants i proves A / B

El 'it' més sovint és la funcionalitat, que tenim processos de control de qualitat sòlids per provar i avaluar. Però el 'it' també consisteix en disseny, una combinació d’elements, col·locació de continguts en una pàgina, de vegades fins i tot color, orientació, etc., que tenen un paper destacat a la acceptació general del producte pel seu usuari final.

Una branca de proves que pot ajudar molt en aquesta àrea és la Proves multivariants i proves A / B .

A l’article d’avui en parlarem Proves multivariants (MVT) i Proves A / B tipus en detall.

Tots dos estan orientats a l'optimització de pàgines web i a la millora del percentatge de conversions (la velocitat a la qual els visitants es converteixen en clients o visitants recurrents, al seu torn, empresarials) d'un lloc web.

Què és la prova multivariant?

Comencem per un Exemple .

Si un determinat lloc web treballa en el disseny / redisseny / determinació de l’eficàcia d’una pàgina que hauria de tenir una imatge i el text corresponent. sigueu el següent:

1) Imatge 1

2) Imatge 2

3) Títol / frase 1: 'L'objectiu ha de ser ZERO accidents'

4) Títol / frase 2: 'El nostre objectiu: cap accident'

Combinacions:

A l'exemple anterior, hem provat variacions de les combinacions de camps per veure quin és un bon ajust. En poques paraules, hi ha proves multivariants.

De manera més tècnica i específica, s’utilitza la fórmula següent per determinar el núm. de combinacions possibles que són necessàries per provar les diferents combinacions i és a dir:

(# Variacions a l'element A) X (# Variacions a l'element B) ... .. = (Total # variacions)

A l'exemple anterior, hi ha 2 variacions per al títol i 2 per a la imatge.

Així, segons la fórmula, hi ha un total de 4 combinacions de les variacions que s'han de provar simultàniament per trobar la millor combinació de variacions.

• L’objectiu principal de realitzar proves multivariants és mesurar i determinar l’eficàcia de cada combinació de variacions en el sistema final.
• Després de finalitzar les combinacions de variacions, s'inicien les proves per determinar el disseny amb més èxit quan el lloc rep suficient trànsit.
• Els resultats obtinguts amb cada combinació de variacions es comparen amb els altres per esbrinar quin disseny és el més adequat per assolir l’objectiu final (en la majoria dels casos és Vendes ).
• Aquestes estadístiques proporcionen una imatge clara de si el canvi concret ha estat útil o no.
• A més, també es pot analitzar un impacte positiu o negatiu en la interacció de l'usuari

Tot aquest procés de proves multivariants contínues, millorant el disseny en funció dels resultats obtinguts i assolint els objectius empresarials deguts a això ( Exemple: més temps de participació per a un usuari en una pàgina determinada) Optimització de la pàgina de destinació - l'objectiu del qual és atraure més usuaris i mantenir-los involucrats en una pàgina determinada.

preguntes sobre l'entrevista de desenvolupadors de salesforce per a usuaris experimentats

Aquest procés implica en gran mesura provar amb múltiples variacions, recopilar estadístiques i fer canvis en funció dels valors / resultats obtinguts.

No només es limita als llocs web, sinó que també es requereixen proves multivariants per a les aplicacions mòbils. Els llocs web i les aplicacions per a mòbils es componen de combinacions d’elements variables i, per tant, les proves multivariants es fan per esbrinar quina combinació de variacions funciona millor.

Això té un paper crucial en l'estratègia de màrqueting a Internet.

Tipus de proves MVT:

En funció de la distribució del trànsit a diverses versions de variacions, n’hi ha múltiple tipus de proves multivariants que es pot realitzar:

a) Prova factorial completa:

És la forma més preferida de proves MVT en què totes les combinacions possibles de variació d'elements es posen a prova per igual desviant el trànsit del lloc web fins que es troba un guanyador. Totes les combinacions possibles tenen la mateixa probabilitat. El millor d’aquest mètode és que no hi ha suposicions i que es basa en estadístiques i nombres durs, cosa que el fa molt fiable i molt recomanable.

L’únic demèrit és el trànsit. Amb l’augment del nombre de diverses combinacions, es requereix molt trànsit al lloc web per analitzar les dades i decidir el guanyador.

b) Proves factorials fraccionades o parcials:

Com el nom indica, només una fracció de totes les versions de combinacions de variacions està exposada al trànsit del lloc web. Es fan càlculs i anàlisis matemàtics estàtics per a la resta de combinacions per trobar la millor taxa de conversió.

Mètode Taguchi és el mètode més popular per a proves multivariants factorials fraccionals. Aquest mètode proporciona un resultat menys precís ja que només es prova una mostra de les variacions i no totes. Tot i que aquest mètode requereix menys temps per analitzar el guanyador, el resultat mai no es pot considerar tan precís com pot ser en cas de proves factorials completes.

c) Proves adaptatives multivariants:

Aquest és un nou enfocament de les proves multivariants. En aquest cas, s’analitza la resposta en temps real dels visitants a la pàgina web per determinar la millor versió de combinació de variacions.

d) Elecció discreta:

Aquest mètode descobreix els efectes d’interacció, per exemple, com la gent crea un compromís des de la perspectiva d’una decisió de compra. És una tècnica complexa que varia sistemàticament els atributs o els elements de contingut.

e) Disseny òptim:

Aquest mètode inclou iteracions i onades de proves. A més de provar el màxim nombre de variacions creatives en un temps mínim, també permet als professionals del màrqueting considerar relacions, interaccions i limitacions entre els elements de contingut d’un lloc web o d’una aplicació. Això ajuda a trobar la solució òptima.

Passem a una qüestió important: Es pot optimitzar el màrqueting web mitjançant proves multivariants?

La resposta és un rotund 'Sí'.

Mitjançant proves multivariants podem determinar clarament què s’ha d’implementar i què s’ha d’evitar. Tot es centra en l’experiència del visitant.

Es tenen en compte els aspectes següents a l'hora de realitzar proves multivariants:

# 1. El requisit previ per a les proves multivariants és: Definiu objectius de màrqueting o examineu els objectius del lloc web. A continuació es detallen alguns exemples:

• Obteniu els màxims ingressos / beneficis mitjançant la publicitat, la venda de productes i el pagament dels clics.
• Crear notorietat de marca a la clientela
• Estalvieu la despesa, per exemple: guieu els usuaris a l’autoservei a través de preguntes més freqüents en lloc de fer-ho en línia, al servei personal.

# 2. Només s’han de provar aquelles coses que s’orientin realment als objectius de màrqueting de l’organització.

# 3. Trieu només aquells elements que mesuraran amb precisió els objectius de màrqueting.

Alguns exemples poden ser:

• Per guanyar més diners, s'haurien de centrar les pàgines que incloguin opcions com ara 'Compra ara' / 'pagament' / fluxos per completar un registre o registrar-se.
• Per crear consciència i promoció per als visitants, pot ser útil 'enviar a un amic' / 'remetre un amic' / 'compartir', etc.
• Perquè els estalvis es concentrin en elements com ara preguntes freqüents, ajuda, contacte, trucades, clics 'Afegeix a la cistella' que portin a les pàgines d'agraïment, etc.

Com fer proves multivariants

1. Identifiqueu un problema

El primer pas és identificar el problema. Això us permetrà millorar el vostre lloc web o aplicació. Per exemple, el problema pot ser qualsevol cosa com per què els visitants del lloc web no fan clic al botó de baixada.

2. Formular hipòtesi

Feu una hipòtesi per millorar la pàgina web. Per exemple, la hipòtesi pot ser que els clients no facin clic al botó de baixada perquè la seva visibilitat no és atractiva. Per tant, fent-ho atractiu, augmentarien les baixades.

3. Creeu variacions

Seleccioneu els factors i creeu variacions. Suposem que els dos factors són l’encapçalament ‘Baixa’ i l’enllaç ‘Productor de PDF’. Com a exemple, tenim per sota de 12 variacions:

el millor programari de recuperació de dades de Windows 10

4. Determineu la mida de la mostra

Esbrineu quants visitants calen a cada pàgina, quant de temps necessiteu per fer la prova, quantes variacions teniu i la importància estadística.

5. Proveu les vostres eines

Proveu-ho tot (principalment, si la vostra pàgina web / aplicació funciona bé) abans de començar a executar la prova, de manera que res no doni verí als resultats de la prova.

6. Comenceu a conduir trànsit

Comenceu a dirigir el trànsit cap a les vostres variacions.

7. Analitzeu els resultats

Després d’executar la prova durant un temps important, obtindreu els resultats per analitzar. A continuació es mostra un exemple:

Els que tenen un nivell de confiança del 95% o més són resultats estadísticament significatius.

8. Apreneu dels vostres resultats

Aquest és l'últim pas important. Des de la prova multivariant, obtindreu informació sobre les vostres pàgines web / aplicacions i els seus visitants. Podeu utilitzar aquest aprenentatge per a futures proves.

Una paraula de precaució: Aneu amb compte amb els aspectes següents quan realitzeu proves multivariants:

Errors que s’han d’evitar

1. Elecció incorrecta de variants . Per exemple, suposem que canviem la mida de la lletra, el color i l'estil del text del títol alhora, en una versió de combinació de variacions. Llavors serà difícil analitzar a partir de les dades rebudes sobre quina variació del títol (ja sigui la mida de la lletra, el color o l’estil) va fer que el visitant respongués de manera diferent.
2. Un període massa curt d'una prova multivariant . Acabar la prova abans de la prova i escollir un petit nombre de dades per analitzar el guanyador pot provocar estadístiques no vàlides.
3. Un període massa llarg d'una prova multivariant. Fer la prova massa temps per analitzar les dades marginals també comporta una gran pèrdua de temps
4. Comprensió incorrecta dels indicadors clau. Centrar, analitzar i fer un seguiment de la combinació variable d'aquests indicadors que són insignificants o no estan relacionats amb l'objectiu final
5. Només alguns indicadors clau de rendiment s’identifiquen mentre no se’n fa un seguiment de molts altres
6. Decidir el tipus de trànsit de visitants a una pàgina web. Això pot ser molt arriscat i problemàtic, ja que no tots els visitants són iguals.
7. No analitzar els resultats i fer els canvis adequats al lloc.

Fes-ho i no ho facis

De la llista anterior, un resum de fer i no fer podria ser:

No ho fa:

No intenteu incloure moltes variables a la prova. Com més sigui el nombre de variables a provar; més grans seran les combinacions, cosa que al seu torn significa que es necessita més trànsit per reunir estadístiques significatives.

Feu:

1. Previsualitzeu totes les versions de combinacions de variacions abans d’iniciar la prova perquè alguns d’ells podrien ser incompatibles o il·lògics. Per exemple, una de les combinacions de variables és del títol que diu '50% de descompte a la subscripció' i el botó de desactivació que diu 'Subscripció gratuïta'. Aquests haurien de ser eliminats.

2. Decidiu l'impacte de les versions combinades en el percentatge de conversions. És bona idea incloure només aquelles combinacions que tinguin un impacte més alt en el percentatge de conversions.

3. Calculeu el trànsit de la pàgina web per tal de recollir dades estadístiques significatives. Abans de començar la prova, és millor tenir una idea clara del trànsit de la pàgina web. Si una pàgina web té només 100-200 visitants al dia, hauríem de tenir en compte algunes variables només per executar la prova multivariant.

Pros i contres

Fins ara hem vist què són les proves multivariants, com es fan, els errors, els factors, les coses que cal fer i les que no es fan, etc. Ara, anem a veure algunes Pros i Contres d'això:

Pros:

1. Una millor comprensió i comprensió de l’efecte de variables o elements sobre el percentatge de conversions. Més trànsit condueix a més dades estadístiques, que al seu torn condueixen a una millor anàlisi i presa de decisions en termes de la millor combinació de variables per assolir l’objectiu final.
2. Pel que fa als canvis de disseny i disseny, les proves multivariants són flexibles.

Contres:

1. Les proves de proves multivariants triguen més a completar-se.
2. Es necessita molt trànsit de pàgines web per obtenir estadístiques significatives.
3. És més complicat configurar proves.
4. Requereix més nombre de versions de combinació de variables per a la prova.

Proves A / B

Com que és una breu llista de totes les proves multivariants, no hi ha fi a la varietat de proves que es poden fer per optimitzar les pàgines web i un altre mètode popular disponible és el Proves A / B .

millor aplicació per comprovar la temperatura de la CPU

Què són les proves A / B?

( imatge font)

Les proves A / B també es coneixen de vegades com Prova dividida . Tot i això, les proves dividides són diferents. Veurem la diferència entre ells a la part posterior d’aquest tutorial.

A les proves A / B, es posen a prova dues versions de la mateixa pàgina web amb una quantitat igual de trànsit de pàgines web. La versió que obté un nombre màxim de conversions és la guanyadora definitiva. Aquesta nova versió definitivament augmenta el percentatge de conversions.

Exemple de prova dividida A / B:

Deixem-ho entendre el funcionament de les proves A / B amb un petit exemple :

La imatge anterior és una pàgina web per a la consciència de seguretat.

Aquesta imatge consisteix en un botó gris que diu ' Feu un concurs i guanyeu premis emocionants '. Aquesta pàgina web original es considera' Una versió '. Ara la versió B està dissenyada amb una variació de color del botó de gris a vermell.

Això es mostra a la imatge següent:

El trànsit de pàgines web en directe es desvia a les dues versions. Després que hagi realitzat la prova prou visitants i amb les dades estadístiques rebudes, es pot determinar fàcilment quina versió té un efecte més alt sobre el percentatge de conversions.

Aquí, a l'exemple anterior, hi ha un botó que diu ' Feu un concurs i guanyeu premis emocionants ”En color vermell va atreure més visitants a prémer el botó i fer un concurs que el botó gris més antic.

Així, es va assolir l'objectiu final de la pàgina web per augmentar els ingressos.

Pros i Contres de proves A / B:

Pros:

1. Mètode senzill i senzill per configurar experiments per a l'optimització de pàgines web.
2. Es poden determinar resultats fiables i precisos fins i tot amb trànsit de pàgines web reduït.
3. Les proves es poden realitzar molt ràpidament i es poden analitzar dades estadístiques per assolir l’objectiu final.
4. No depèn gaire de cap forma de tecnologia.
5. Més apte per a canvis de disseny, contingut, disseny de qualsevol pàgina web.

Contres:

1. Només es poden fer alguns canvis a una pàgina web, o diuen que hi ha un nombre limitat de canvis.
2. No és possible determinar l'impacte de les diferents variables presents en una pàgina web entre si.

Taula de comparació:

Proves A / B vs proves multivariants vs proves dividides

Les proves A / B, les proves multivariants i les proves dividides són els tres tipus principals de proves de variants UX (experiència d'usuari). Vegem com són diferents entre ells.

Les dues imatges següents us proporcionen una comparació il·lustrativa molt bona entre les proves A / B i les proves multivariants.

Proves multivariants

Prova dividida:

Aquí tenim una altra variant coneguda com a prova d’URL dividida, que és molt més complicada que la que suposa la prova A / B canvis al costat del servidor , on tenim dues pàgines web diferents que es posen a prova les unes contra les altres. Aquest tipus de proves funciona bé per a les pàgines de destinació en els casos en què l’equip de disseny ha de decidir quin funcionarà millor.

Eines de proves A / B / Split / Multivariate

Hi ha moltes eines disponibles al mercat per a aquests tres tipus de proves UX. Jo n’anomenaria alguns dels millors que podeu explorar aquí. Són Google Optimize, Optimizely, VMO, Qubit, Maxymiser i AB Tasty.

Conclusió :

Tots dos mètodes, A / B i les proves multivariants, augmenten el percentatge de conversions, milloren el rendiment i optimitzen les pàgines web i les aplicacions. Tots dos són útils a la seva manera i també vénen amb les seves deficiències i reptes únics: depèn de nosaltres identificar i analitzar quin mètode s’adapti millor als requisits.

Els provadors participem principalment en la prova dels canvis realitzats per implementar proves multivariants o A / B. Un cop fets i provats aquests canvis, l’equip de màrqueting o de negoci els pot executar a l’entorn de producció per obtenir els resultats.

Per tant, és molt important que els verificadors provin aquests canvis amb molta cura, en cas contrari, els resultats finals serien inexactes, cosa que provocaria grans pèrdues empresarials, ja que la majoria de les vegades es relaciona directament amb els ingressos empresarials.

Lectura recomanada

• Les millors eines de prova de programari 2021 (Eines d'automatització de proves de control de qualitat)
• Prova de descàrrega de llibres electrònics
• Proves estàtiques i proves dinàmiques: diferència entre aquestes dues tècniques de prova importants
• Prova de càrrega amb tutorials HP LoadRunner
• Diferència entre la prova d'escriptori, el servidor de clients i la prova web
• Què és la prova de gamma? Fase de proves finals
• Què són les proves de conformitat (proves de conformitat)?
• Prova de programari Treball d'assistent de control de qualitat