Construir un modelo que explica el pasado a la perfección

Añade variables suficientes y cualquier secuencia histórica se puede ajustar exactamente. Explicar lo que ya pasó y predecir lo que no ha pasado son tareas distintas, y la primera se vuelve más fácil a medida que la segunda se vuelve más difícil.

Todo conjunto de datos contiene señal real y ruido aleatorio. Un modelo con libertad suficiente ajusta las dos cosas, y el ruido que ha memorizado no está por definición en los datos futuros — así que cuanto mejor es el ajuste histórico, peor tiende a ser la predicción.

La defensa es la prueba fuera de muestra: ajustar sobre un periodo y evaluar sobre otro que no se usó nunca. Es la única comprobación que distingue la señal del ruido memorizado.

Y esa es la trampa. La tentación es seguir ajustando hasta que el periodo fuera de muestra también funcione bien — momento en el que ya no está fuera de muestra, y la prueba ha quedado destruida sin ruido.

Qué hacer con esto. Reserva un periodo de datos, míralo exactamente una vez y acepta lo que diga.