Większość procedur szacowania wymaga znalezienia parametrów, które minimalizują (lub maksymalizują) niektóre funkcje celu. Na przykład dzięki OLS minimalizujemy sumę kwadratów reszt. Dzięki oszacowaniu maksymalnego prawdopodobieństwa maksymalizujemy funkcję logarytmu wiarygodności. Różnica jest trywialna: minimalizację można przekształcić w maksymalizację przy użyciu negatywu funkcji celu.
Czasami ten problem można rozwiązać algebraicznie, tworząc rozwiązanie w formie zamkniętej. Dzięki OLS rozwiązujesz system warunków pierwszego zamówienia i otrzymujesz znaną formułę (choć prawdopodobnie potrzebujesz komputera, aby ocenić odpowiedź). W innych przypadkach nie jest to matematycznie możliwe i trzeba wyszukiwać wartości parametrów za pomocą komputera. W tym przypadku komputer i algorytm odgrywają większą rolę. Nieliniowe najmniejsze kwadraty to jeden przykład. Nie dostajesz wyraźnej formuły; otrzymujesz tylko przepis, który musisz wdrożyć na komputerze. Przepis można rozpocząć od wstępnego odgadnięcia, jakie mogą być parametry i jak mogą się różnić. Następnie wypróbujesz różne kombinacje parametrów i zobaczysz, który z nich daje najniższą / najwyższą wartość funkcji celu. Jest to podejście brutalnej siły i zajmuje dużo czasu. Na przykład,105
Lub możesz zacząć od zgadywania i dopracować to zgadywanie w pewnym kierunku, dopóki ulepszenia funkcji celu nie będą mniejsze niż pewna wartość. Są to zwykle nazywane metodami gradientowymi (chociaż istnieją inne, które nie używają gradientu do wybrania kierunku, w którym należy podążać, takie jak algorytmy genetyczne i symulowane wyżarzanie). Niektóre problemy, takie jak ta, gwarantują szybkie znalezienie właściwej odpowiedzi (kwadratowe funkcje celu). Inni nie dają takiej gwarancji. Możesz się martwić, że utknąłeś w lokalnym, a nie globalnym, optymalnym, więc wypróbuj szereg wstępnych domysłów. Może się okazać, że bardzo różne parametry dają tę samą wartość funkcji celu, więc nie wiesz, który zestaw wybrać.
mi[ y] = exp{ α }
QN.( α ) = - 12 N.∑jaN.( yja- exp{ α } )2)
α∗= lny¯ln( y¯+ k )