Mi gran descubrimiento de 2019 ha sido la “Analítica Cualitativa”. Concretamente, analizar vídeos de visitas usando Hotjar. En este artículo quiero compartir la metodología que he creado (“no sin metodología” es una de mis máximas). La he elaborado para consumo propio y por pura supervivencia, pero me alegra compartirla. Me encanta pensar que pueda servir de inspiración a alguien parar crear la suya. Por supuesto, si tienes alguna sugerencia de cómo mejorarla, encantada de recibir feedback a modo de comentario. No creo que sea perfecta, y la metodología tampoco 😉
Como analista web a veces me encuentro con que se da un valor casi místico al dato (y a la analista). Creo que estamos en un momento en el que (todavía) se invierte la mayor parte del tiempo y esfuerzo de un proyecto en recoger el dato de la mayor calidad posible. Quiero decir, que en muchos casos la analítica web se encuentra en una fase aún primitiva, la calidad de la implementación. Esto hace que a veces nos encontremos con que los analistas están más curtidos en la implementación (obtener el dato) que el análisis y las decisiones basadas en datos.
Hablemos entonces del análisis. Acaso alguien cree que un analista web tiene el superpoder de mirar los datos de una web y saber qué está pasando, por qué está pasando y cómo actuar. El analista web tiene otros superpoderes: el pensamiento crítico, el escepticismo, la capacidad para entender “los números”, la rapidez en comprensión del dato… Pero no tiene el superpoder de la adivinación (por lo que sea).
Entonces, cómo podemos llegar a saber qué está pasando en una web, por qué está pasando y cómo actuar. Pues hasta el momento, creo que trabajando. Yo pivoto entre la analítica cuantitativa (qué pasa) y la analítica cualitativa (porqué pasa). Pasar de lo cuantitativo a lo cualitativo es muy útil en ciertos casos.
1. Analizar vídeos de Hotjar como análisis puntual
Digamos que gracias a un trabajo previo (en el que elaboramos nuestro Plan de Analítica) estamos recogiendo datos de calidad. Tenemos monitorizados los KPIs de negocio y un dato nos llama la atención haciendo un análisis.
Por ejemplo, detectamos algo extraño en el sistema operativo android. Se caen (en proporción) muchas más visitas en un paso de nuestro embudo que en otros sistemas operativos. Entonces extraemos una sospecha fundamentada o hipótesis de nuestro análisis. Algo está pasando en el sistema operativo android que hace que se pierdan ciertas sesiones. En un primer momento llamamos a Capitán Obvio y siguiendo su consejo, probamos nosotros mismos a navegar usando android pero no detectamos nada. Entonces, grabamos las visitas que realicen ese paso. Una vez grabadas las visitas, las visualizamos prestando especial atención a las que fueran andoid. Llegaríamos a detectar la causa de la caída con el análisis de los vídeos. Y lo mejor de todo es que podemos actuar tras encontrar la causa.
1.1 Pasos para un análisis puntual de vídeos de Hotjar
1) Tenemos monitorizados nuestros KPIs de negocio.
2) Nos alarma el rendimiento de alguno de ellos haciendo un análisis y extraemos una hipótesis.
3) Grabamos las visitas de la web.
4) Analizamos los vídeos con el objetivo de corroborar la hipótesis que extrajimos del análisis previo.
1.2 Resumiendo el análisis puntual de vídeos de Hotjar
Este tipo de análisis y encontrar la solución es necesario. Pero en mi opinión, debe existir una analítica preventiva igual que existe una medicina preventiva. No podemos dedicarnos a actuar cuando la persona la web ya está enferma y muestra síntomas. Debe existir un proyecto de analítica que abarque toda la web y que contemple un chequeo rutinario. No podemos reducir la analítica web a producir acciones en una rueda de trabajo gracias a análisis recurrentes. No caigamos en el cinismo de buscar y encontrar un problema (cualquiera) para justificar nuestro trabajo.
2. Analizar vídeos de Hotjar como rutina de trabajo
Una de las cosas que me apasionan de la analítica web es que trabajas en diferentes líneas de tiempo que se entrelazan. Existen unas tareas que tendrán su efecto a corto plazo, otras a medio plazo y otras a largo. Muchas veces tu trabajo consiste en ejecutarlas, priorizarlas y llevarlas a cabo pensando en que confluyan algún día. Según las vas ejecutando las tareas entiendes que para ganar cada batalla es importante desplegar tu mejores tácticas. Pero para ganar la guerra hay que tener una estrategia. Con esto quiero decir, que lo expuesto en el análisis puntual del apartado anterior es una táctica, pero en este apartado hablaremos de estrategia.
Analizar vídeos de la web es como hacerle un chequeo rutinario. El producto de este análisis puede ser detectar un problema o confirmar que todo está bien. Quiero ahora romper una lanza a favor de que un análisis puede ser necesario y haberse hecho bien sin que proponga ninguna acción. Tener la certeza de que algo funciona y esta sano, es útil para saber que en ese aspecto de la web no tenemos que centrarnos para mejorar la conversión.
El usuario en su viaje hasta la conversión pasa por diferentes momentos. Al estar midiendo estos pasos, cada uno de ellos nos arrojará un porcentaje de éxito. Conocemos el número de visitas que tenemos en cada paso. Conocemos cuál es la navegación que proponemos al usuario.
Pero como dice el refrán:
“El hombre propone y Dios dispone”La web propone y el usuario dispone.
2.1 Yo… he visto cosas que vosotros no creeríais…
Cuando nos enfrentamos a la obligación de mejorar un KPI crítico, normalmente se nos viene a la mente puntos de fuga del diseño. Lo natural es que se nos ocurran diferentes ideas de cómo proponer una navegación más persuasiva al usuario. Entonces llegamos a la conclusión de que hay que hacer un test. Dejar al usuario que decida cuál es la versión que más le gusta de las que hemos ideado. ¡Otro triunfo de la democracia! En este caso, un triunfo del Partido Marxista:
“La
analíticapolítica es el arte de buscar problemas, encontrarlos, hacer un diagnóstico falso y aplicar después los remedios equivocados”. Groucho Marx
Hablando en serio, no digo que esto no sea válido pero…¿y si tenemos en cuenta al usuario más allá del día de las elecciones? Quiero decir, incorporemos al usuario antes del test. Esto lo podemos hacer en una de esas líneas de tiempo que decía antes, los test en otra.
Si analizamos los vídeos y vemos cómo el usuario interactúa con el diseño nos ponemos en los zapatos del usuario. Entonces, podemos entender si ese KPI crítico (por ejemplo el rebote en una landing) es un rebote pasivo o un rebote activo. Yo llamo rebote pasivo al rebote que la herramienta mide como rebote y que en los vídeos efectivamente veo que no hace literalmente nada. Yo llamo rebote activo al rebote de los usuarios que leen, hacen scroll y en su navegación no envían un segundo hit a la herramienta. Igual antes de hacer un test para reducir el rebote, tenemos que entender qué rebote tenemos y dónde se puede mejorar. Si tenemos un rebote principalmente pasivo.. yo pensaría ¿estamos siendo muy agresivos en nuestras campañas?¿carga rápido la landing? Si tenemos un rebote activo..yo pensaría ¿es el CTA lo suficientemente potente? ¿se entiende la propuesta de valor?
2.2 Cuántos vídeos tengo que ver
¿Cuántos vídeos tengo que ver? ¿Cómo saber si lo que veo en un vídeo es representativo o anedótico? Cuándo me hice estas preguntas sin respuestas, empecé a pensar. “El número de vídeos tiene que ser siempre el mismo, los justos. Ni uno más, ni uno menos”. Por suerte, estaba haciendo un Máster de Estadística y un día leyendo sobre el tamaño de la muestra entendí como calcular “los justos” que yo buscaba.
Muestreo. Procedimiento por el cual se extrae, de un conjunto de unidades que constituyen el objeto de estudio (población), un número de casos reducido (muestra) elegido con criterios tales que permitan una generalización a toda la población de todos los resultado obtenidos al estudiar la muestra.
Una de las cosas que me encanta de ser analista web en 2019 es que se parece al cine mudo de los años 20. Hay más ganas de crear y problemas que superar, que normas que seguir. La mayoría de los retos tienen soluciones vanguardistas aún por encontrar. Convertí este proyecto en mi Trabajo de Final de Máster y profundicé en el tema.
La fórmula que uso para calcular el número de vídeos es la siguiente:
Si ahora te sientes un poco…
…esta sería la aplicación explicada con mis palabras:
n= tamaño de la muestra (el número de vídeos a analizar, el número que quiero descubrir).
N= media de visitas diarias en el paso que quiero analizar (por ejemplo media de visitas diarias a la landing).
Z= este valor representa el nivel de confianza que hayas escogido y lo debes buscar en cierto tipo de tabla (por ejemplo elegimos un nivel de confianza de 90, entonces z =1.65)
p= porcentaje que cumple el fenómeno a estudiar (por ejemplo el rebote era del 78%, entonces 0.78)
q= porcentaje que no cumple el fenómeno a estudiar (0.22)
e= error que quiero asumir (digamos que un 8%, entonces 0.08 en la fórmula)
2.3 Hoy quiero confesar…
Dependiendo de lo que quieras analizar, tendrás que usar estratos. Dicho de otra forma, la población puede ser divisible en subgrupos de iguales entre ellos y diferentes entre sí. Entonces, habrá un tamaño de la muestra diferente para cada uno de los subgrupos. Por ejemplo, podemos hacer por separado el cálculo de vídeos a analizar en función de su dispositivo.
He usado la media de un día, para calcular el tamaño de la población finita. Entonces la muestra representa a la población del día que grabé (no a todas las visitas de la web). El nivel de confianza que he señalado es relativamente bajo y el error que asumo relativamente alto. No quiero que el artículo sea más complejo de lo necesario, digamos que la fórmula es objetiva, pero la analista no. Si quieres usar otro criterio para: calcular la población, el nivel de confianza y el error, perfecto. Mi subjetividad se explica porque compito en dos categorías como analista web en 2019: a la analista web menos purista y a la analista web más feliz.
2.4 ¿Alguien más debería ver esos vídeos?
Creo que es muy positivo que este análisis lo haga un equipo multidisciplinar. En mi experiencia, es muy enriquecedor porque una persona de negocio percibe ciertos detalles, una persona de diseño percibe otros y la analista percibe otros. Es cierto que para ser un buen analista debemos entender el negocio y tener nociones de usabilidad, es decir, que debemos ser autónomos. Pero en mi experiencia, poner al equipo en los pies del usuario es algo muy positivo.
Nos pasamos gran parte de la jornada laboral dentro de nuestra web, y acabamos pensando que la web es para el usuario lo que es para nosotros. Si queremos tener un buen proyecto de CRO tenemos que dejar que el usuario nos sorprenda. Dicho de otra forma tenemos la maldición del conocimiento:
“The Curse of Knowledge. Once we know something, we find it hard to imagine what it was like nor to know it. Our knowledge has “cursed” us. And it becomes difficult for us to share our knowledge with others, because we can´t readly re-create our listener´s state in mind”.
“Always be Testing”. Bryan Eisenberg, John Quarto-VonTivadar.
Con esto quiero decir, que uno de los puntos fuertes de analizar vídeos como rutina de trabajo es que nos permite descubrir como los usuarios leen la web. El test que creemos tiene muchas más posibilidades de ser concluyente si partimos de este tipo de análisis (enriquecido con muchos otros).
2.5 ¿Cómo analizar los vídeos?
Soy muy fanática de trabajar en tablas. Para analizar los vídeos reflexiono sobre el objetivo del análisis. Identificó qué es lo que quiero saber. Calculo el tamaño de la muestra, es decir, el número de vídeos que debo analizar para que las conclusiones sean representativas. Digamos que antes de crear la tabla tendríamos que haber llegado a algo como esto:
Usando los filtros de Hotjar podemos aislar los vídeos de desktop y chrome, desktop y firefox, etc.
Una vez que tenemos el número de vídeos que queremos extraer de Hotjar, creo una tabla como herramienta de trabajo. Anoto el user ID de Hotjar en la primera columna. En la segunda, dejo el enlace, por si necesitara acceder al vídeo en otro momento (otro momento llamado reunión). Normalmente, indico el sistema operativo, dispositivo, navegador del vídeo y resolución (efectivamente, también calculo cuántos vídeos tendría que ver de cada tipo para que fueran representativos). Estas columnas las uso para todos los análisis, tienen un marcado carácter burocrático.
Por otro lado, creo otras columnas donde me hago preguntas que quiero contestar con cada análisis. De esta forma me aseguro de que siempre observo las mismas cosas en todos los vídeos, sin distracciones.
Por último añado dos columnas para las observaciones y las ideas que serían campos abiertos.
Esta podría ser el encabezado de la tabla de análisis, obviamente tendría más preguntas.
Tras cumplimentar toda la tabla podemos sacar conclusiones de los resultados obtenidos y descubrir (o no) algún aspecto que ignorábamos. La conclusión puede ser que todo funciona razonablemente bien, entonces asumir que el porcentaje de conversión tiene poco margen de mejora. Con cierta paz, podemos cerrar la optimización en este paso y centrarnos en otro.
3. Resumiendo
Analizar vídeos puede situarse en dos momentos dentro de un proyecto de analítica web. Uno en el que necesitamos entender el porqué puntual de un dato para proponer la solución. Otro en el que intentamos conocer la respuesta global de los usuarios ante un paso de nuestro camino a la conversión. Para conocer la respuesta global y sacar conclusiones relevantes, me parece interesante trabajar con muestras representativas a la hora de calcular el número de vídeos y las características de estos. Estos análisis me recuerdan a la película de “La vida de los otros”, me siento como una espía que observa todo lo que hace un usuario.
Gerd Wiesler en “La vida de los otros”.
Si has llegado hasta aquí, y no eres Alex (mi blogkide) ni mi madre, mi más sincero agradecimiento por aguantar esta CHAPA. Si eres un trabajador de Hotjar me encantaría tener una de las sudaderas de vuestra marca.
Sé el primero en comentar