¿Cómo se puede medir la calidad de búsqueda?

Hay muchísimas métricas en IR para medir la calidad de los resultados que producen los motores de búsqueda. Debido a eso, a menudo es fácil perderse en todos los cálculos, matemáticas, etc.

Es importante que demos un paso atrás y reflexionemos sobre la calidad de la búsqueda y el propósito de las métricas. Para empezar, ¿qué es la calidad? El concepto de la calidad de algo solo tiene sentido si hay algo más para ser medido. Si la calidad de los resultados de búsqueda es lo que nos importa, entonces, ¿cuál es el estándar por el que nos esforzamos o queremos mantener?

La respuesta radica en para quién son los resultados de búsqueda y para qué sirven los resultados. En resumen, la calidad de búsqueda se trata de los usuarios. El objetivo de la calidad de búsqueda es mejorar la relevancia de los resultados que presentamos a los usuarios para satisfacer mejor sus necesidades. Mirando el diagrama de Venn a continuación, la superposición entre lo que los usuarios necesitan y lo que producen los motores de búsqueda es relevante.

Volviendo a la pregunta sobre “¿Cómo se puede medir la calidad de búsqueda”, la calidad de búsqueda se mide por la capacidad del motor de búsqueda para producir resultados que maximicen la superposición con lo que los usuarios necesitan. Dado que puede ser difícil definir el círculo azul, medir la calidad de búsqueda no es algo sencillo.

Por estas razones, todas las métricas, algunas ya explicadas en las otras respuestas, tienen suposiciones sobre las necesidades y comportamientos del usuario. Las métricas apropiadas para usar dependen de las verticales, los segmentos de usuarios, las aplicaciones de búsqueda, etc. Más información sobre la importancia de mirar las métricas correctas se discute en No todas las métricas son iguales y no todo lo que se puede contar. Y el uso de métricas que son claramente inapropiadas es un escollo común como se discutió en 6 escollos comunes en la construcción y mantenimiento de motores de búsqueda. Para conocer algunas de las métricas populares de los sistemas de búsqueda en línea, consulte Search Engineering 101.

Leí un artículo de los dos fundadores de Google que hablaba sobre la calidad de búsqueda. Básicamente usan algo similar a la referencia académica para calificar una página web. Reglas como
1. Si alguien se refiere a la página, agréguele puntaje / puntos. Cuanto mayor sea el puntaje de la página del árbitro, mayores serán los puntos agregados.
2. Consulte la página web de otro es una deducción de puntaje / puntos.

Es posible que tengan algunos otros detalles que olvidé, pero es sorprendente cómo una pequeña idea puede hacer una gran diferencia (en comparación con el miserable Yahoo).