Jakie są najważniejsze „wczesne artykuły” na temat metod regularyzacji?

W kilku odpowiedziach widziałem, jak użytkownicy CrossValidated sugerują OP znaleźć wczesne artykuły na temat Lasso, Ridge i Elastic Net.

Dla potomnych, jakie są przełomowe prace na temat Lasso, Ridge i Elastic Net?

Ponieważ po prostu szukasz referencji, oto lista:

1. Tichonow, Andrey Nikolayevich (1943). „Об устойчивости обратных задач” [O stabilności odwrotnych problemów]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.
2. Tikhonov, AN (1963). „О решении некорректно поставленных задач и методе регуляризации”. Doklady Akademii Nauk SSSR. 151: 501–504 .. Przetłumaczone na „Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji”. Matematyka radziecka. 4: 1035–1038.
3. Hoerl AE, 1962, Zastosowanie analizy grzbietu do problemów regresji, Chemical Engineering Progress, 1958, 54–59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). „Regresja grzbietu: błędne oszacowanie problemów nieortogonalnych”. Technometria. 12 (1): 55–67. doi: 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). „Skurcz regresji i selekcja za pomocą Lasso” (PostScript). Journal of Royal Statistics Society, Series B. 58 (1): 267–288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. and Hastie, T. (2005). Regularyzacja i wybór zmiennych za pomocą elastycznej siatki. Journal of Royal Statistics Society, Series B. 67: ss. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Historycznie ważny artykuł, który, jak sądzę, po raz pierwszy wykazał, że estymatory odchylenia mogą skutkować ulepszonymi szacunkami dla zwykłych modeli liniowych:

• Stein, C., 1956, styczeń. Niedopuszczalność zwykłego estymatora dla średniej wielowymiarowego rozkładu normalnego. W Proceedings of the Third Berkeley sympozjum na temat statystyki matematycznej i prawdopodobieństwa (tom 1, nr 399, s. 197-206).

Kilka bardziej nowoczesnych i ważnych kar obejmuje SCAD i MCP:

• Fan, J. i Li, R., 2001. Zmienny wybór poprzez nonklawowe karane prawdopodobieństwo i jego właściwości wyroczni. Journal of the American Statistics Association, 96 (456), s. 1348–1360.
• Zhang, CH, 2010. Prawie obiektywny wybór zmiennych pod karą wklęsłą minimax. The Annals of statistics, 38 (2), s. 894–942.

I kilka innych na temat bardzo dobrych algorytmów uzyskiwania oszacowań przy użyciu tych metod:

• Breheny, P. i Huang, J., 2011. Algorytmy koordynowania zejścia dla niesprzecznej regresji karnej z zastosowaniami do wyboru cech biologicznych. Roczniki stosowanych statystyk, 5 (1), s. 232.
• Mazumder, R., Friedman, JH i Hastie, T., 2011. Sparsenet: Koordynacja zejścia z niewypukłymi karami. Journal of the American Statistics Association, 106 (495), str. 125-1138.

Warto również przyjrzeć się temu artykułowi na temat selektora Dantzig, który jest bardzo blisko związany z LASSO, ale (sądzę) wprowadza on pojęcie nierówności wyroczni dla estymatorów statystycznych, które są dość potężnym pomysłem

• Candes, E. i Tao, T., 2007. Selektor Dantzig: Estymacja statystyczna, gdy p jest znacznie większe niż n. The Annals of Statistics, s. 2313–2351.