cross-validation – Informar la varianza de la validación cruzada repetida de k veces

Pregunta:

He estado usando la validación cruzada repetida de k veces y he estado informando la media (de la métrica de evaluación, por ejemplo, sensibilidad, especificidad) calculada como la gran media entre los pliegues de diferentes ejecuciones de la validación cruzada.

Sin embargo, no estoy seguro de cómo debo informar la variación. He encontrado muchas preguntas aquí que discuten la validación cruzada repetida, sin embargo, ninguna que yo sepa responde explícitamente a la pregunta de la varianza en las pruebas de validación cruzada repetidas.

Entiendo que la varianza total se debe a: 1) inestabilidad del modelo y 2) tamaño de muestra limitado.

Parece que hay 4 enfoques diferentes para calcular la varianza para la validación cruzada repetida de k veces:

1) ¿la varianza de la métrica de rendimiento promedio estimada (por ejemplo, precisión) entre las ejecuciones de la validación cruzada es una estimación válida de la varianza?

2) la varianza agrupada mediante la agrupación de las varianzas específicas de ejecución (que se calculan en diferentes pliegues de una ejecución de prueba de validación cruzada).

3) para concatenar los resultados de clasificación de diferentes pliegues de una ejecución de validación cruzada en un vector grande. Por ejemplo, si el número de datos de prueba en cada pliegue es 10 y tengo un CV de 10 veces, el vector resultante para una repetición será de tamaño 100. Ahora, si repito mi prueba de validación cruzada 10 veces, lo haré tienen 10 vectores de tamaño 100, cada uno de los cuales contiene los resultados de clasificación de una ejecución de 10 veces el CV. Ahora, calcularía la media y la varianza como el caso de un CV de ejecución única.

4) También he leído (ecuaciones 2 y 3 en 1 ) que la varianza es la suma de la varianza externa y la varianza interna esperada. Si entiendo correctamente, la varianza externa es la varianza de los rendimientos promedio específicos de la repetición, y la varianza interna es la varianza entre los diferentes pliegues de una serie de validación cruzada.

Le agradecería enormemente su ayuda y orientación sobre qué varianza sería la adecuada para informar para la prueba de validación cruzada repetida.

Gracias,

Respuesta:

1 y 3 me parecen no válidos ya que no tienen en cuenta las dependencias entre ejecuciones repetidas. En otras palabras, las ejecuciones repetidas de k veces son más similares entre sí que las repeticiones reales del experimento con datos independientes.

2 no tiene en cuenta las dependencias entre pliegues dentro de la misma ejecución.

No sé de 4.

Una referencia potencialmente relevante (y desalentadora) es Bengio & Grandvalet, 2004, "Sin estimador imparcial de la varianza de la validación cruzada de K-Fold"

Leave a Comment

Your email address will not be published.

Scroll to Top

istanbul avukat

-

web tasarım