El Teorema implica que el estimador de mínimos cuadrados tiene el menor error mínimo cuadrático de entre todos los estimadores lineales insesgados. Lo que, por otro lado, tiene sentido, dado que se llama “de mínimos cuadrados” ;-)
No obstante, Hastie y compañía nos recuerdan en ESL1 que puede exisitir un estimador sesgado con un error mínimo cuadrático menor. Tal estimador podría sacrificar un poco de sesgo por una reducción mayor en la varianza, por lo que para la elección del modelo más apropiado habrá que encontrar el balance adecuado entre sesgo y varianza.
Notas
The Elements of Statistical Learning, Hastie, Tibshirani and Friedman (2009). Springer-Verlag.↩︎