Geneza terminu „regularyzacja”

Kiedy przedstawiam studentom koncepcje, często fajnie jest powiedzieć im, skąd pochodzi terminologia (na przykład „regresja” to termin o ciekawym pochodzeniu). Nie byłem w stanie podnieść historii / tła terminu „regularyzacja” w statystycznym / uczeniu maszynowym.

Jakie jest zatem pochodzenie terminu regularyzacja ?

Podobnie jak wkład Matthew Gunna , nie jest to tak naprawdę odpowiedź, ale bardziej prawdopodobny kandydat.

Po raz pierwszy usłyszałem o „regularyzacji” w kontekście regularyzacji Tichonowa , a zwłaszcza w kontekście (liniowych) odwrotnych problemów w geofizyce. Co ciekawe, chociaż myślałem, że to prawdopodobnie ze względu na mój obszar studiów (tj. Zobacz moją nazwę użytkownika), najwyraźniej Tichonow faktycznie wykonał większość swojej pracy w tym obszarze!

Moje przeczucie jest to, że nowoczesne podejście „uregulowanie” prawdopodobnie nie pochodzą z pracy za Tichonow. Opierając się na tych spekulacjach, mój wkład tutaj składa się z dwóch części.

Pierwsza część ma charakter (fotelowy) historyczny (oparty na percepcji papierowych tytułów i moich wcześniejszych uprzedzeniach!). O ile w artykule z 1963 r. „ Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji” wydaje się być pierwszym użyciem terminu „regularyzacja”, nie byłbym zbyt pewien, czy to prawda. Odniesienie to jest cytowane w Wikipedii jako

Tikhonov, AN (1963). „О решении некорректно поставленных задач и методе регуляризации”. Doklady Akademii Nauk SSSR. 151: 501–504. Przetłumaczone na „Rozwiązanie nieprawidłowo sformułowanych problemów i metody regularyzacji”. Matematyka radziecka. 4: 1035–1038.

sprawiając wrażenie, że sam Tichonow napisał pierwotnie przynajmniej część tego dzieła w języku rosyjskim, więc wyrażenie „regularyzacja” mogło zostać wymyślone przez późniejszego tłumacza. [AKTUALIZACJA: Nie, „регуляризации” = regularyzacja , patrz komentarz Cagdasa Ozgenc.] Ponadto praca ta wydaje się być częścią ciągłej linii badań prowadzonych przez Tichonowa przez znacznie dłuższy czas . Na przykład papier

Tichonow, Andrey Nikolayevich (1943). „Об устойчивости обратных задач” [O stabilności odwrotnych problemów]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

pokazuje, że był zaangażowany w ten sam ogólny temat co najmniej 20 lat wcześniej. Jednak ta oś czasu sugeruje, że prawdopodobnie prace nad odwrotnymi problemami rozpoczęły się znacznie bliżej 1963 r. Niż 1943 r.

[ AKTUALIZACJA: To tłumaczenie artykułu z 1943 r. Pokazuje, że terminologia „ regularność ” została tutaj użyta w odniesieniu do „stabilności odwrotnego problemu (lub ciągłości odwrotnego odwzorowania)” .]

Drugą częścią mojego wkładu jest hipoteza, jak pierwotnie zamierzano w tym kontekście „regularyzacji”. Dość często „regularny” jest używany jako synonim „gładkiego”, szczególnie w opisie krzywej i / lub geometrii powierzchni. W większości zastosowań geofizyki pożądanym rozwiązaniem jest pewne oszacowanie siatkowe pola rozproszonego przestrzennie , a regularyzację Tichonowa stosuje się w celu nałożenia wcześniejszej gładkości .

(Macierz Tichonowa będzie zazwyczaj dyskretnym operatorem pochodnej przestrzennej , podobnym do macierzy PDE, w porównaniu do macierzy tożsamości regresji grzbietu. Jest tak, ponieważ w przypadku tych siatek / modeli do przodu przestrzeń zerowa macierzy modelu do przodu zwykle zawiera rzeczy takie jak „tryby szachownicy”, które będą zanieczyszczać wyniki, chyba że zostaną ukarane; podobnie jak to ).

Aktualizacja: te problemy zostały zilustrowane w mojej odpowiedzi tutaj .

Podsumowanie

1. Głosowałem także na Tichonowa jako pomysłodawcę (prawdopodobnie około 1963 r.)
2. Pierwotnymi zastosowaniami mogły być odwrotne modelowanie geofizyczne, więc termin „regularyzacja” może odnosić się do uczynienia uzyskanych map * bardziej płynnymi, tj. „Regularnymi”.

$u[x]=F[\theta]$$\theta=F^{-1}[u]$

To po części odpowiedź, po części długi komentarz. Niekompletna lista kandydatów:

1. Tichonow, Andriej. „Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji”. Radziecka matematyka. Dokl .. Vol. 5. 1963. Tichonow znany jest z regularyzacji Tichonowa (znanej również jako regresja grzbietu).

2. W fizyce istnieje koncepcja regularyzacji, która sięga przynajmniej lat 40. XX wieku, ale nie widzę żadnego związku z regularyzacją Tichonowa? (Nie jestem fizykiem.)

3. Teksty inżynieryjne mówią o regularyzacji rzeki (w celu poprawy nawigacji) sięgającej przynajmniej lat osiemdziesiątych XIX wieku.

Przeszukując http://books.google.com , nie widzę powszechnego użycia terminu „regularyzacja” aż do lat 70. XX wieku, kiedy zaczyna pojawiać się od nowa w kontekście książek z matematyki i fizyki.

Mówiąc najprościej, termin przetrwał naturalną ewolucję terminów naukowych, ponieważ oddaje główny cel techniki: od szeregu rozwiązań do źle postawionego problemu wybiera rozwiązania, które są regularne , to znaczy

zgodnie z zasadą

( definicja darmowego słownika )

Jest to również używane we wspólnym języku na przykład do projektowania gładkiej powierzchni w stolarstwie. Podobnie rozwiązania problemu regresji będą wyglądać bardziej regularnie, jeśli regułą jest zminimalizowanie całkowitej zmienności (TV) niepłynnych bitów zrekonstruowanego sygnału (mierzonej na przykład całkowitą energią gradientu).

$\ell_0$