Regresja liniowa z błędami Laplace'a

Rozważ model regresji liniowej:

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ gdzie

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ , to znaczy , Rozkład Laplace'a ze średnią

0

$0$ i parametrem skali

b

$b$ , wszystkie są wzajemnie niezależne. Rozważ maksymalne oszacowanie prawdopodobieństwa nieznanego parametru

β

$\boldsymbol \beta$ :

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ z którego

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Jak znaleźć rozkład reszt $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ w tym modelu?

regression laplace-distribution

— nmerci
źródło

Co rozumiesz przez określenie rozkładu resztek?

— jlimahaverford

Ponieważ reszty można pogrupować w losowy wektor, chciałbym poznać jego rozkład. Co najmniej pierwsze dwa momenty.

— nmerci

Mam to, dzieki! Czy zastanawiałeś się nad symulacją i kreśleniem?

— jlimahaverford

Tak, chcę zbudować region zaufania dla pozostałości. Na przykład w przypadku błędów Gaussa region jest elipsoidą.

— nmerci

Przyjmuje się, że reszty (faktycznie nazywane błędami) są losowo rozmieszczone z rozkładem podwójnie wykładniczym (rozkład Laplace'a). Jeśli dopasowujesz te punkty danych xiy, zrób to numerycznie. Najpierw obliczasz beta-hat_ML dla tych punktów jako całości, korzystając ze wzoru podanego powyżej. To określi linię przechodzącą przez punkty. Następnie odejmij wartość y każdego punktu od wartości y linii przy tej wartości x. Jest to pozostałość dla tego punktu. Resztki wszystkich punktów można wykorzystać do zbudowania histogramu, który da ci rozkład reszt.

Jest na ten temat dobry artykuł matematyczny autorstwa Yang (2014) .

--Zawietrzny

— Lee G.
źródło

Link nie działa.

— Michael R. Chernick,