Evaluar la usabilidad mediante la metodología PURE
En las últimas 3 empresas en las cuales lideré equipos de UX me enfrenté al mismo desafío: “¿cómo establecemos una métrica accionable basada en la usabilidad de nuestros productos sin invertir una cantidad exagerada de tiempo y recursos?”. Buscando respuestas encontré la metodología PURE (Pragmatic Usability Rating by Experts). En esta entrega les cuento de qué se trata esta metodología y cómo la implementé en MuleSoft.
Sobre la metodología PURE
PURE es una metodología de evaluación de usabilidad relativamente nueva que permite cuantificar cuán fácil es usar un producto y nos brinda información cualitativa sobre cómo mejorarlo. Es ideal en los casos en los que no podemos invertir mucho tiempo o dinero, ya que se basa en la revisión de expertos.
La metodología PURE fue creada por Christian Rohrer y Jeff Sauro en el año 2016, y al igual que una evaluación heurística, no involucra la participación de usuarios y nos permite identificar los puntos de fricción en cada uno de los flows de nuestro producto.
Las métricas que obtenemos mediante PURE pueden ser usadas para comparar las mejoras de usabilidad en cada una de las versiones de nuestro producto así como también compararnos con nuestro competidores.
Podemos realizar la evaluación PURE tanto sobre la versión productiva de nuestro producto como también sobre prototipos de alta fidelidad.
Como funciona PURE
Esta metodología se centra exclusivamente en una de las variables de la experiencia de usuario la facilidad de uso.
Si bien sabemos que la experiencia de usuario no depende únicamente de la facilidad de uso, esta claro que es una variable clave en la experiencia, dado que si nuestros usuarios no logran usar nuestro producto con facilidad difícilmente tendrán una buena experiencia.
En la metodología PURE se definen las tareas críticas de un producto digital, por ejemplo crear una cuenta o instalar un software, luego cada tarea se divide en "steps" que se representan con barras de color según la facilidad o la dificultad de uso, a continuación podemos ver un ejemplo con dos tareas:
¿Cómo la medimos?
La métrica se basa en una escala de 1 a 3 según la facilidad de uso para el usuario objetivo del producto.
Valor=1 (verde) — Significa que el paso puede ser completado con facilidad ya que requiere baja carga cognitiva o bien porque utiliza un patrón de diseño ya conocido por los usuarios, como por ejemplo aceptar los términos y condiciones de un servicio.
Valor=2 (amarillo)- Significa que el paso requiere un grado notable de carga cognitiva (o esfuerzo físico) para el usuario objetivo, aunque generalmente puede ser completado con algo de esfuerzo.
Valor=3 (rojo)- Significa que el paso requiere un grado significativo de carga cognitiva o genera confusión, por ello es difícil de completar por el usuario objetivo. Es posible que los usuarios fallen o abandonen la tarea en este punto.
¿Cómo se calificamos cada tarea?
Cada tarea se subdivide en pasos que son calificados individualmente de 1 a 3 según el grado de dificultad, el puntaje de la tarea es la suma total de los puntajes de los pasos.
El color de la tarea se determina según el color del peor puntaje asignando a los pasos.
Por ejemplo si tenemos una tarea que tiene 5 pasos de los cuales 2 fueron calificados con verde, 2 con amarillo y solo uno con rojo, el color de la tarea será rojo como se muestra en la imagen a continuación.
De la misma forma el puntaje PURE (PURE SCORE) de un producto o servicio es igual a la sumatoria total del los puntajes de cada tarea. Si bien no hay un número de referencia -ya que depende de la cantidad de tareas y los pasos que contenga cada tarea- cuanto menor sea el número final, menor será la fricción en la experiencia. Lo mismo pasa con el color, cuanto más “caliente” sea, significa que los problemas de usabilidad son de mayor gravedad.
Poniendo PURE en acción
El proceso para realizar una evaluación usando PURE es similar al que hacemos cuando realizamos una evaluación heurística; en el artículo de NN/g, Quantifying and Comparing Ease of Use Without Breaking the Bank se explica como realizar la evaluación en 10 pasos.
Les cuento mi versión para hacer el proceso lo más ágil, simple y escalable posible.
#1 — Definición de usuarios
Primero definimos los usuarios objetivos, ya que vamos a evaluar el producto / servicio “poniéndonos en el lugar” de ese usuario. Tenemos que realizar tantas evaluaciones como tipos de usuarios tengamos, porque no podemos juzgar de la misma forma el esfuerzo que le tomaría realizar la misma tarea a un usuario principiante que a un usuario experto.
Un buen enfoque es usar a las personas de nuestro producto, idealmente deberíamos tener entre 1 y 4 usuarios.
#2 — Tareas críticas
Es importante mencionar que con PURE no vamos a medir cada una de las interacciones de nuestro producto, como lo hacemos en una prueba con usuarios, sino que vamos a evaluar las acciones fundamentales que van a realizar nuestros usuarios. Recordemos que la finalidad de esta técnica es crear un framework de medición sistémica que podemos repetir en el tiempo para comparar resultados con otras versiones de nuestro producto o con la competencia.
#3 — Happy path y pasos de cada tarea
Ahora vamos a definir el happy path es decir el camino deseado para el usuario y los pasos de cada tarea, este es la fase que nos tomará más tiempo porque debemos definir el inicio y el fin de cada paso, para ello debemos tener en cuenta que:
- Un paso comienza cuando el sistema le presenta al usuario una serie de opciones
- Un paso termina cuando el usuario realiza una acción y el sistema responde a dicha acción.
Un paso puedo contener microinteracciones, por ejemplo completar campos de un formulario: si estamos en un flujo de creación de cuenta un paso podría comenzar cuando el usuario presiona el botón de crear cuenta y finaliza cuando completa el formulario y presiona el botón enviar.
Debemos cuidar que los pasos no sean demasiado extensos ni tampoco microinteracciones, así mismo también debemos procurar no tener demasiados pasos en cada tarea, una cantidad ideal oscila entre 4 y 10.
#4 — Evaluación por 3 expertos
En este momento cada uno de los 3 expertos de usabilidad realizará su evaluación de forma individual asignando un valor de 1 a 3 a cada paso de cada una de las tareas.
Lo ideal es que los expertos sean UX researchers, es importante que el diseñador u otros profesionales responsables por este producto no sean parte del panel de expertos ya que es muy difícil ser objetivos juzgando un diseño del cual hemos sido creadores.
En este punto el líder de la actividad realizará la tarea a evaluar de modo que todos los evaluadores vean lo mismo al mismo tiempo y puedan calificar el nivel de dificultad en forma privada.
Con mi equipo de trabajo implementé paneles examinadores formados por 3 UX Designers que trabajan en otros productos, que si bien tiene algo de conocimiento sobre el producto que van a evaluar no son parte del ese equipo de trabajo, así mismo el diseñador responsable del producto también participa en la actividad en modalidad de observador para poder tomar notas de las observaciones de los expertos y asistir en caso que surja alguna duda sobre la tarea que se está evaluando.
#5 — Puntaje unificado (PURE Score)
Cuando terminamos las evaluaciones individuales, debemos creamos una única versión de la evaluación, para ello los expertos presentan sus puntajes y se debate hasta lograr un consenso.
Es importante entender que no vamos a hacer un promedio entre los distintos puntajes otorgados por cada evaluador, es decir que si para un paso un evaluador calificó con 1 y otro calificó con 3, el resultado final no es un 2, sino que cada experto deberá explicar los motivos de tu puntuación y entre los 3 llegar a un puntaje unificado ( y consensuado). Si alguna vez hicieron poker planning, bueno esto funciona de la misma manera.
#6 — Score final
Casi estamos! Después unificar los resultados parciales nos ponemos a hacer las cuentas. Sumando los puntajes finales de cada tarea obtendremos el PURE Score del producto que estamos evaluando. Igual que hicimos al sumar los pasos de cada tarea, el color que usaremos para representar será el de la tarea puntuación más baja.
Al no tener un puntaje normalizado -pues dependen de la cantidad de tareas y pasos que tengamos- es muy importante la representación visual que usemos para mostrar los resultados.
Si bien no es parte de la metodología a mí me es muy útil agregar valores de referencia de la puntuación mínima de un producto para ayudar a que quienes observen los resultados puedan comprender mejor qué es lo que indica el número, sobre todo si trabajamos en empresas donde los equipos tienden a comparar los resultados obtenidos.
#7 — Oportunidades de mejora
Un fase adicional que me resultó de gran utilidad es la de registrar las oportunidades de mejora que surgen en el debate de los expertos, por eso recomiendo que el diseñador responsable del producto actúe como observador de la evaluación y registre las recomendaciones de los expertos.
En qué se diferencia Pure de una evaluación heurística o una prueba con usuarios
Si bien a primera vista la evaluación PURE pude verse similar a una evaluación heurística hay diferencias metodológicas y de objetivo de la técnica. Una de las principales diferencias metodológicas es que en la evaluación PURE los expertos realizan la evaluación de forma simultánea, garantizando que los 3 califiquen lo mismo.
En cuanto a los objetivos, la evaluación heurística busca encontrar la mayor cantidad posible de errores de usabilidad y obtener un visión completa de la usabilidad del producto o servicio, por otro lado, la evaluación PURE en cambio provee una medición confiable de cuán fácil o difícil es para nuestros usuarios objetivos completar las tareas críticas de nuestro producto o servicio.
Conclusión
Los que trabajamos en el mundo de desarrollo de productos digitales sabemos la importancia que tienen las métricas para los stakeholders así como también la importancia de dar cuenta hacia fuera del equipo de UX la salud de la usabilidad de nuestros productos. A menudo es complejo mostrar fuera de UX la importancia de mejorar la usabilidad y por ende la experiencia de nuestros clientes; la metodología PURE nos da un marco de trabajo simple y accionable. Cuando incorporemos esta metodología podremos evaluar productos y servicios con gran facilidad y obtener métricas que nos permitan accionar y mostrar resultados concretos sobre la calidad de nuestros productos y la labor de nuestro equipo.