¿Cuáles son las buenas métricas para la predicción de la tasa de clics en las licitaciones en tiempo real?

Answer 1

Métrica típica 1: AUC. Esta métrica evalúa la capacidad de clasificación de los CTR predichos (tasas de clics). Sin embargo, no muestra nada sobre el sesgo entre el CTR predicho y el CTR real. (Si agrega una constante y / o una constante de / u otra constante en todos los CTR predichos, el sesgo cambia totalmente mientras que el AUC permanece igual, lo que solo considera la clasificación resultante)

Métrica típica 2: MSE (o similar). No creo que esta métrica esté bien definida en este caso. La clave es cómo ensamblar los datos. Si simplemente calcula el error al cuadrado en cada instancia, el resultado solo le dirá los resultados generales de la predicción en las instancias en las que se hizo clic y en las que no se hizo clic, ya que el CTR real solo podría ser 0 o 1. Otra forma es reunir los datos De acuerdo con la predicción de los CTRs. Primero, ordene las instancias por CTR de predicción, luego sepárelas en varias ubicaciones con un número constante de instancias, o con un intervalo constante de CTR de predicción. Luego calcule el CTR predecible promedio y el CTR real promedio en cada bin y mida el error. Creo que el principal problema es que es probable que esto sobreestime los modelos simples. Por ejemplo, un modelo ingenuo que da un CTR promedio en todas las instancias recibirá un pequeño error. Me siento inseguro de usar esta métrica solamente.

Métrica típica 3: LogLoss. No estoy seguro de la relación entre esta métrica y la aplicación empresarial.

Mi punto: está claro que en RTB (licitación en tiempo real), no solo la clasificación es importante, el sesgo entre el CTR predicho y el CTR real también es muy importante. No estoy seguro de si hay una sola métrica que pueda decir cuál es una mejor predicción.