Kiedy centralne twierdzenie graniczne i prawo wielkich liczb nie zgadzają się

19

Jest to zasadniczo replika pytania, które znalazłem na stronie math.se , na które nie uzyskałem odpowiedzi, na które liczyłem.

Niech $\{ X_i \}_{i \in \mathbb{N}}$ będzie ciągiem niezależnych, identycznie rozmieszczonych zmiennych losowych, z i . $\mathbb{E}[X_i] = 1$ $\mathbb{V}[X_i] = 1$

Rozważ ocenę

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n})

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)$

Wyrażeniem tym należy manipulować, ponieważ, jak to jest, obie strony zdarzenia nierówności mają tendencję do nieskończoności.

A) WYPRÓBUJ ODBIÓR

Przed rozważeniem instrukcji ograniczającej odejmij $\sqrt{n}$ z obu stron:

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} - \sqrt{n} \leq \sqrt{n} - \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = Φ (0) = \frac{1}{2}

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2}$

ostatnia równość według CLT, gdzie $\Phi()$ jest standardową funkcją rozkładu normalnego.

B) WYPRÓBUJ WIELOFIKACJĘ

Pomnóż obie strony przez $1/\sqrt{n}$

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \cdot \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \frac{1}{\sqrt{n}} \cdot \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\lim_{n \to \infty} \mathbb{P}\left(\frac {1}{\sqrt{n}}\cdot \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \frac {1}{\sqrt{n}}\cdot\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^n X_i \leq 1\right)$

= lim_{n \to \infty} P ({\bar{X}}_{n} \leq 1) = lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1

$= \lim_{n \to \infty} \mathbb{P}\left(\bar X_n \leq 1\right) = \lim_{n \to \infty}F_{\bar X_n}(1) = 1$

gdzie jest funkcją rozkładu średniej próbki , która przez LLN zbiega się w prawdopodobieństwie (a więc także w rozkładzie) do stałej , stąd ostatnia równość. $F_{\bar X_n}()$ $\bar X_n$ $1$

Mamy więc sprzeczne wyniki. Który jest właściwy? A dlaczego ten drugi się myli?

probability mathematical-statistics asymptotics

— Alecos Papadopoulos
źródło

1

@JhohoKokkala Pewnie, oto math.stackexchange.com/q/2830304/87400 Zignoruj błąd OP.

— Alecos Papadopoulos

2

Myślę, że problem tkwi w drugim oświadczeniu przywołującym LLN

— Glen_b

3

Śledziłem cię aż do ostatecznej równości. Jest to oczywiście błędne, ponieważ spodziewalibyśmy się, że do dla dużego a zatem jego limit nie powinien wynosić Jakie jest zamierzone uzasadnienie tego? Nie jest to stwierdzenie jakiejkolwiek wersji prawa wielkich liczb, które znam.

P ({\bar{X}}_{n} \leq 1)

$\mathbb{P}(\bar X_n\le 1)$

1 / 2

$1/2$

n

$n$

1.

$1.$

— whuber

1

@ whuber Podobno całe prawdopodobieństwo dla średniej próbki koncentruje się na wartości . Jeśli to jest złe, uważam, że ważne jest, aby błąd został szczegółowo opisany w odpowiedzi, taki jest cel tego pytania.

1

$1$

— Alecos Papadopoulos

2

Alecos, moim zmartwieniem nie jest to, czy ostatni krok jest zły: dotyczy twoich powodów. Czy nie o to w końcu chodzi? Nadal nie przeczytałem nic od ciebie z tych powodów i wahałbym się nawet zgadywać, co to może być. Chociaż odwołujesz się do „LLN”, uważam, że rozwiązanie twojego problemu może polegać na dokładnym opisaniu tego, co rozumiesz jako „LLN”.

— whuber

15

Błąd tu może w następujący fakt konwergencja dystrybucji domyślnie zakłada się, że jest zbieżna z w punktach ciągłości . Ponieważ rozkład granic jest stałą zmienną losową, ma nieciągłość skoku przy $F_n(x)$ $F(x)$ $F(x)$ $x=1$ , dlatego błędne jest stwierdzenie, że CDF jest zbieżny z . $F(x)=1$

— Alex R.
źródło

1

Sposób, w jaki definiujemy zbieżność w rozkładzie, nie wyklucza możliwości zbieżności w punktach nieciągłości - po prostu tego nie wymaga .

— Alecos Papadopoulos

1

Ale jeśli zbieżność w rozkładzie nie wymaga zbieżności

z

, na jakiej podstawie opiera się ostatnia równość w pytaniu?

F_{n} (1)

$F_n(1)$

F (1)

$F(1)$

— Juho Kokkala,

1

@Juho To nie jest oparte na niczym - to sedno sprawy. Nie ma twierdzenia, które pozwalałoby zrobić ostatnie równanie w pytaniu.

— whuber

1

@AlecosPapadopoulos: Nigdy nie powiedziałem, że nie wyklucza to możliwości. Mówię domyślnie, że musisz uzasadnić ostatnią równość wykraczającą poza to, co jest ci dane ze zbieżności w dystrybucji. Na przykład, jeśli

to Bernoulli, byłoby to prawdą.

X_{n}

$X_n$

— Alex R.

11

Dla iid zmiennych losowych z zdefiniuj $X_i$ $E[X_i]= \operatorname{var}(X_i)=1$ Teraz CLT mówi, że dla każdejstałejliczby rzeczywistej,. OP stosuje CLT do oceny

\begin{aligned} Z_{n} & = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i}, \\ Y_{n} & = \frac{1}{n} \sum_{i = 1}^{n} X_{i} . \end{aligned}

$\begin{align}Z_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n X_i,\\ Y_n &= \frac{1}{{n}}\sum_{i=1}^n X_i. \end{align}$

z

$z$

lim_{n \to \infty} F_{Z_{n}} (z) = Φ (z - 1)

$\lim_{n\to\infty} F_{Z_n}(z) = \Phi(z-1)$

lim_{n \to \infty} P (Z_{n} \leq \frac{1}{\sqrt{n}}) = Φ (0) = \frac{1}{2} .

$\lim_{n\to\infty}P\left(Z_n \leq \frac{1}{\sqrt{n}}\right) = \Phi(0) = \frac 12.$

Jak wskazały inne odpowiedzi, a także kilka uwag do pytania PO, podejrzana jest ocena PO . Rozważ szczególny przypadek, w którym iid są dyskretnymi zmiennymi losowymi przyjmującymi wartości i z jednakowym prawdopodobieństwem $\lim_{n\to\infty} P(Y_n \leq 1)$ $X_i$ $0$ $2$ . Terazmoże przyjąćwszystkieparzyste wartości całkowite wa więc gdyjest nieparzyste, nie może przyjąć wartościa zatem $\frac 12$ $\sum_{i=1}^n X_i$ $[0,2n]$ $n$ $\sum_{i=1}^n X_i$ $n$ nie mogę przyjąć wartości. Ponadto, ponieważ rozkładjest symetryczny około, mamy, że ma wartość $Y_n = \frac 1n \sum_{i=1}^n X_i$ $1$ $Y_n$ $1$ $P(Y_n \leq 1) = F_{Y_n}(1)$ gdyjest nieparzyste. Zatemciągliczb zawierapodsekwencję $\frac 12$ $n$

P (Y_{1} \leq 1), P (Y_{2} \leq 1), \dots, P (Y_{n} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_2 \leq 1), \ldots, P(Y_n \leq 1), \ldots$

w którym wszystkie warunki mają wartość

P (Y_{1} \leq 1), P (Y_{3} \leq 1), \dots, P (Y_{2 k - 1} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_3 \leq 1), \ldots, P(Y_{2k-1} \leq 1), \ldots$

. Z drugiej stronypodsekwencja

jestzbieżnado

. Stąd

nie istnieje i twierdzenia o zbieżności

\frac{1}{2}

$\frac 12$

P (Y_{2} \leq 1), P (Y_{4} \leq 1), \dots, P (Y_{2 k} \leq 1), \dots

$P(Y_2 \leq 1), P(Y_ 4\leq 1), \ldots, P(Y_{2k} \leq 1), \ldots$

1

$1$

lim_{n \to \infty} P (Y_{n} \leq 1)

$\lim_{n\to\infty} P(Y_n \leq 1)$

P (Y_{n} \leq 1)

$P(Y_n\leq 1)$ na 1 należy patrzeć z dużą dozą podejrzeń.

— Dilip Sarwate
źródło

8

Twój pierwszy wynik jest prawidłowy. Twój błąd występuje w drugiej części, w następującym błędnym stwierdzeniu:

lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1.

$\lim_{n \rightarrow \infty} F_{\bar{X}_n}(1) = 1.$

To stwierdzenie jest fałszywe (po prawej stronie powinno być ) i nie wynika to zprawa wielkich liczb,jak twierdzono. Słabe prawo wielkich liczb (na które się powołujesz) mówi, że: $\tfrac{1}{2}$

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0.

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0.$

Dla wszystkich warunek obejmuje niektóre wartości, w których oraz niektóre wartości, w których . Dlatego z LLN nie wynika, że . $\varepsilon > 0$ $|\bar{X}_n - 1| \leqslant \varepsilon$ $\bar{X}_n \leqslant 1$ $\bar{X}_n > 1$ $\lim_{n \rightarrow \infty} \mathbb{P} ( \bar{X}_n \leqslant 1 ) = 1$

— Przywróć Monikę
źródło

1

(Błędny wynik) wynika z implikacji „zbieżność prawdopodobieństwa implikuje zbieżność w rozkładzie”. Pytanie nie stwierdza, że twierdzenie pochodzi bezpośrednio od LLN.

— Alecos Papadopoulos

@AlecosPapadopoulos Konwergencja prawdopodobieństwa ma oznaczać zbieżności dystrybucji. Ponownie, zbieżność w dystrybucji jest wymagana tylko w punktach ciągłości. Ale może miałeś na myśli, że zbieżność prawdopodobieństwa nie oznacza punktowej zbieżności rozkładu.

— Alex R.

@AlexR. Nie jestem pewien, gdzie leży twój sprzeciw. Uważam, że ten problem jest objęty moją własną odpowiedzią.

— Alecos Papadopoulos

3

Zbieżność prawdopodobieństwa oznacza zbieżność w rozkładzie. Ale ... jaka dystrybucja? Jeśli rozkład graniczny ma nieciągłość skoku, wówczas granice stają się niejednoznaczne (ponieważ przy nieciągłości możliwe jest wiele wartości).

gdzie jest funkcją rozkładu średniej próbki , która przez LLN zbiega się w prawdopodobieństwie (a więc również w rozkładzie) do stałej , $F_{\bar X_n}()$ $\bar X_n$ $1$

This is not right, and it is also easy to show that it can not be right (different from the disagreement between CLT and LLN). The limiting distribution (which can be seen as the limit for a sequence of normal distributed variables) should be:

F_{{\bar{X}}_{\infty}} (x) = {\begin{cases} 0 & for x < 1 \\ 0.5 & for x = 1 \\ 1 & for x > 1 \end{cases}

$F_{\bar{X}_\infty}(x) = \begin{cases} 0 & \text{for } x<1 \\ 0.5& \text{for } x=1\\ 1 & \text{for } x>1 \end{cases}$

$\epsilon>0$ $x$ $|F_{\bar{X}_n}(x)-F_{\bar{X}_\infty}(x)|<\epsilon$ for sufficiently large $n$ . This would fail if $F_{\bar{X}_\infty}(1)=1$ instead of $F_{\bar{X}_\infty}(1)=0.5$

Limit of a normal distribution

It may be helpful to explicitly write out the sum used to invoke the law of large numbers.

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \sim N (1, \frac{1}{n})

$\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i \sim N(1,\frac{1}{n})$

^{The limit $n\to \infty$ for $\hat{X}_n$ is actually equivalent to the Dirac Delta function when it is represented as the limit of the normal distribution with the variance going to zero.}

Using that expression it is more easy to see what is going on under the hood, rather than using the ready-made laws of the CLT an LLN which obscure the reasoning behind the laws.

Convergence in probability

The law of large numbers gives you 'convergence in probability'

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > ϵ) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>\epsilon) =0$

with $\epsilon > 0$

^{An equivalent statement could be made for the central limit theorem with
$\lim_{n \to \infty} P(|\frac{1}{\sqrt{n}}\sum \left( X_i-1 \right)|>\frac{\epsilon}{n}) =0$}

It is wrong to state that this implies

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > 0) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>0) =0$

^{It is less nice that this question is cross-posted so early (confusing, yet interesting to see the different discussions/approaches math vs stats, so not that too bad). The answer by Michael Hardy on the math stackexchange deals with it very effectively in terms of the strong law of large numbers (the same principle as the accepted answer from drhab in the cross posted question and Dilip here). We are almost sure that a sequence $\bar{X}_1, \bar{X}_2, \bar{X}_3, ... \bar{X}_n$ converges to 1, but this does not mean that $\lim_{n \to \infty} P(\bar{X}_n = 1)$ will be equal to 1 (or it may not even exist as Dilip shows). The dice example in the comments by Tomasz shows this very nicely from a different angle (instead of the limit not existing, the limit goes to zero). The mean of a sequence of dice rolls will converge to the mean of the dice but the probability to be equal to this goes to zero.}

Heaviside step function and Dirac delta function

The CDF of $\bar{X}_n$ is the following:

F_{{\bar{X}}_{n}} (x) = \frac{1}{2} (1 + erf \frac{x - 1}{\sqrt{2 / n}})

$F_{\bar{X}_n}(x) = \frac{1}{2} \left(1 + \text{erf} \frac{x-1}{\sqrt{2/n}} \right)$

with, if you like, $\lim_{n \to \infty} F_{\bar{X}_n}(1) = 0.5$ (related to the Heaviside step function, the integral of the Dirac delta function when viewed as the limit of normal distribution).

I believe that this view intuitively resolves your question regarding 'show that it is wrong' or at least it shows that the question about understanding the cause of this disagreement of CLT and LLN is equivalent to the question of understanding the integral of the Dirac delta function or a sequence of normal distributions with variance decreasing to zero.

— Sextus Empiricus
źródło

2

Your limiting distribution is in fact not a distribution at all. A CDF must be right continuous, whereas it clearly is not at

x = 1 / 2

$x=1/2$ .

— Alex R.

The right continuity seems to be necessary such that for every

a

$a$ we have

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = F_{X}(a)$ as the events

X \leq a + \frac{1}{n}

$X \leq a+\frac{1}{n}$ are nested we should have

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = lim_{n \to \infty} P (X \leq a + \frac{1}{n}) = P (lim_{n \to \infty} X \leq a + \frac{1}{n}) = P (X \leq a) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = \lim_{n \to \infty} P(X \leq a+\frac{1}{n}) = P(\lim_{n \to \infty} X \leq a+\frac{1}{n}) = P(X \leq a) = F_{X}(a)$ but is this true for our case and where is the catch? Is this right continuity necessary based on probability axioms or is it just a convention such that the CDF works for most common cases?

— Sextus Empiricus

@Martin Weterings: This is precisely where it comes from. Any valid measure

P

$P$ must satisfy these monotonicity results. They are a consequence of the boundedness of

P

$P$ along with countable additivity. More generally, a function

F (x)

$F(x)$ is a CDF (i.e. corresponds to some distribution

P

$P$ via

F (b) - F (a) = P (a < X \leq b)

$F(b)-F(a)=P(a<X\leq b)$ iff

F

$F$ is right-continuous, along with being monotonic, and having left limit 0, right limit 1.

— Alex R.

2

I believe it should be clear by now that "the CLT approach" gives the right answer.

Let's pinpoint exactly where the "LLN approach" goes wrong.

Starting with the finite statements, it is clear then that we can equivalently either subtract $\sqrt{n}$ from both sides, or multliply both sides by $1/\sqrt{n}$ . We get

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)=\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1) \leq 0\right) = \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^nX_i \leq 1\right)$

So if the limit exists, it will be identical. Setting $Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1)$ , we have, using distribution functions

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = F_{Z_{n}} (0) = F_{{\bar{X}}_{n}} (1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)= F_{Z_n}(0) = F_{\bar X_n}(1)$

...and it is true that $\lim_{n\to \infty}F_{Z_n}(0)= \Phi(0) = 1/2$ .

The thinking in the "LLN approach" goes as follows: "We know from the LLN that $\bar X_n$ converges in probabililty to a constant. And we also know that "convergence in probability implies convergence in distribution". So, $\bar X_n$ converges in distribution to a constant". Up to here we are correct.
Then we state: "therefore, limiting probabilities for $\bar X_n$ are given by the distribution function of the constant at $1$ random variable",

F_{1} (x) = {\begin{cases} 1 x \geq 1 \\ 0 x < 1 \end{cases} ⟹ F_{1} (1) = 1

$F_1(x) = \cases {1 \;\;\;\;x\geq 1 \\ 0 \;\;\;\;x<1} \implies F_1(1) = 1$

... so $\lim_{n\to \infty} F_{\bar X_n}(1) = F_1(1) = 1$ ...

...and we just made our mistake. Why? Because, as @AlexR. answer noted, "convergence in distribution" covers only the points of continuity of the limiting distribution function. And $1$ is a point of discontinuity for $F_1$ . This means that $\lim_{n\to \infty} F_{\bar X_n}(1)$ may be equal to $F_1(1)$ but it may be not, without negating the "convergence in distribution to a constant" implication of the LLN.

And since from the CLT approach we know what the value of the limit must be ( $1/2$ ). I do not know of a way to prove directly that $\lim_{n\to \infty} F_{\bar X_n}(1) = 1/2$ .

Did we learn anything new?

I did. The LLN asserts that

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0$

⟹ lim_{n \to \infty} [P (1 - ε < {\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big( 1-\varepsilon <\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

⟹ lim_{n \to \infty} [P ({\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big(\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

The LLN does not say how is the probability allocated in the $(1-\varepsilon, 1+\varepsilon)$ interval. What I learned is that, in this class of convergence results, the probability is at the limit allocated equally on the two sides of the centerpoint of the collapsing interval.

The general statement here is, assume

X_{n} \to_{p} θ, h (n) (X_{n} - θ) \to_{d} D (0, V)

$X_n\to_p \theta,\;\;\; h(n)(X_n-\theta) \to_d D(0,V)$

where $D$ is some rv with distribution function $F_D$ . Then

lim_{n \to \infty} P [X_{n} \leq θ] = lim_{n \to \infty} P [h (n) (X_{n} - θ) \leq 0] = F_{D} (0)

$\lim_{n\to \infty} \mathbb P[X_n \leq \theta] = \lim_{n\to \infty}\mathbb P[h(n)(X_n-\theta) \leq 0] = F_D(0)$

...which may not be equal to $F_{\theta}(0)$ (the distribution function of the constant rv).

Also, this is a strong example that, when the distribution function of the limiting random variable has discontinuities, then "convergence in distribution to a random variable" may describe a situation where "the limiting distribution" may disagree with the "distribution of the limiting random variable" at the discontinuity points. Strictly speaking, the limiting distribution for the continuity points is that of the constant random variable. For the discontinuity points we may be able to calculate the limiting probability, as "separate" entities.

— Alecos Papadopoulos
źródło

The 'lesson learned' perspective is interesting, and this is a good, not too difficult, example for didactic application. Although I wonder what kind of (direct) practical application this thinking about the infinite has, because eventually in practice

n \neq \infty

$n \neq \infty$

— Sextus Empiricus

@MartijnWeterings Martijn, the motivation here was certainly educational, a) as an alert to discontinuities even in such a "flat" situation as the convergence to a constant, and so also in general (they destroy uniform convergence for example), and b) a result on how the probability mass is allocated becomes interesting when the sequence that converges in probabilty to a constant, still has a non-zero variance.

— Alecos Papadopoulos

We could say that CLT let's as say something about convergence to a limiting normal distributed variable (thus being able to express such things as

F (x)

$F(x)$ ), but LLN only allows us to say that, by increasing the sample size, we get closer to the true mean, but this does not say that we get, with higher probability, 'exactly equal to the sample mean'. LLN means that the sample mean gets closer and closer to a limiting value but not (with higher probability) equal to it. LLN says nothing about

F (x)

$F(x)$

— Sextus Empiricus

The original thoughts around the LLN where actually opposite (see the reasoning of Arbuthnot stats.stackexchange.com/questions/343268). "It is visible from what has been said, that with a very great Number of Dice, A’s Lot would become very small... there would be but a small part of all the possible Chances, for its happening at any assignable time, that an equal Number of Males and Females should be born."

— Sextus Empiricus