Statystyki i duże zbiory danych algorithms

1

Algorytm: Wyszukiwanie binarne, gdy wartości są niepewne

Potrzebuję algorytmu do wyszukiwania binarnego, gdy test na każdym kroku może dać zły wynik. Tło: Muszę umieścić uczniów na najbardziej odpowiednim z 12 poziomów trudności. Obecne podejście jest brutalne i zadaje 60 pytań wielokrotnego wyboru o 4 odpowiedziach o rosnącym stopniu trudności, zatrzymujących się po trzech błędach i umieszczających ucznia …

11 algorithms

2

Dlaczego runif nie generuje zawsze tego samego wyniku?

Dlaczego generatory liczb losowych, takie jak runif()w R, nie generują za każdym razem tego samego wyniku? Na przykład: X <- runif(100) X generuje różne wyniki za każdym razem. Jaki jest powód generowania różnych wyników za każdym razem? Jakie funkcje działa w tle, aby to zrobić?

11 r algorithms random-generation uniform

2

O co chodzi z uczeniem maszynowym w praktyce?

Jestem nowicjuszem w uczeniu maszynowym (także niektóre statystyki), od dłuższego czasu uczę się wiedzy (algorytmy uczenia nadzorowanego / bez nadzoru, odpowiednie metody optymalizacji, regularyzacje, niektóre filozofie (takie jak kompromis odchylenie biasu?). Wiem, że bez prawdziwej praktyki nie uzyskałbym głębokiego zrozumienia tych rzeczy związanych z uczeniem maszynowym. Zacznę więc od pewnego …

11 machine-learning algorithms

1

Wyjaśnienie maksymalizacji oczekiwań

Znalazłem bardzo pomocny samouczek dotyczący algorytmu EM . Przykład i zdjęcie z samouczka jest po prostu genialne. Powiązane pytanie dotyczące obliczania prawdopodobieństwa, jak działa maksymalizacja oczekiwań? Mam inne pytanie dotyczące połączenia teorii opisanej w samouczku z przykładem. Podczas kroku E, EM wybiera funkcję która ogranicza i dla której .soltgtg_tlogP.( x …

11 machine-learning clustering algorithms natural-language

3

Kryterium zatrzymania dla miodu Neldera

Próbuję zaimplementować algorytm Neldera-Meada do optymalizacji funkcji. Strona wikipedii o Nelder-Mead jest zaskakująco jasna na temat całego algorytmu, z wyjątkiem kryterium zatrzymania. Tam niestety mówi: Sprawdź zbieżność [potrzebne wyjaśnienie] . Sam wypróbowałem i przetestowałem kilka kryteriów: Przestań, jeśli gdzie jest mały i gdzie jest wierzchołkiem simpleksa, uporządkowanym od niskiego ( …

11 optimization algorithms

2

Dlaczego warto korzystać z drzew decyzyjnych?

Czytałem trochę o algorytmach usprawniających dla zadań klasyfikacyjnych, aw szczególności Adaboost. Rozumiem, że celem Adaboost jest wzięcie kilku „słabych uczniów” i poprzez zestaw iteracji danych treningowych, popchnąć klasyfikatorów, aby nauczyli się przewidywać klasy, w których model (y) wielokrotnie popełnia błędy. Zastanawiałem się jednak, dlaczego w tak wielu odczytach wykorzystałem drzewa …

11 machine-learning classification algorithms boosting

2

Obliczanie wymiaru VC sieci neuronowej

Jeśli mam pewną stałą topologię nierekurencyjną (DAG) (ustalony zestaw węzłów i krawędzi, ale algorytm uczenia może zmieniać ciężar na krawędziach) neuronów esowatych z neuronami wejściowymi, które mogą przyjmować tylko łańcuchy w jako dane wejściowe i prowadzące do jednego wyniku (który wyprowadza rzeczywistą wartość, którą zaokrąglamy w górę do 1 lub …

11 machine-learning neural-networks algorithms vc-dimension

4

Jak testujesz implementację k-średnich?

Uwaga: zamieściłem to pytanie na Stackoverflow, ale pomyślałem, że może lepiej pasować do tej platformy. Jak testujesz własną implementację k-średnich dla wielowymiarowych zestawów danych? Myślałem o uruchomieniu już istniejącej implementacji (tj. Matlaba) na danych i porównaniu wyników z moim algorytmem. Wymagałoby to jednak, aby oba algorytmy działały w przybliżeniu tak …

11 clustering algorithms

1

Czy możliwa jest nawet PCA na dużą skalę?

Klasycznym sposobem analizy głównych składowych (PCA) jest wykonanie macierzy danych wejściowych, których kolumny mają zerową średnią (wtedy PCA może „maksymalizować wariancję”). Można to łatwo osiągnąć poprzez centrowanie kolumn. Jednak gdy matryca wejściowa jest rzadka, matryca środkowa będzie już rzadsza i - jeśli matryca jest bardzo duża - nie będzie już …

10 pca algorithms dimensionality-reduction large-data sparse

2

Wykrywanie anomalii: jakiego algorytmu użyć?

Kontekst: Opracowuję system analizujący dane kliniczne w celu odfiltrowania nieprawdopodobnych danych, które mogą być literówkami. Co do tej pory zrobiłem: Aby oszacować wiarygodność, do tej pory próbowałem znormalizować dane, a następnie obliczyć wartość wiarygodności dla punktu p na podstawie jego odległości do znanych punktów danych w zestawie D (= zestaw …

10 machine-learning multivariate-analysis feature-selection algorithms outliers

3

Jaki jest najbardziej efektywny sposób szkolenia danych przy użyciu najmniejszej ilości pamięci?

Oto moje dane treningowe: 200 000 przykładów x 10 000 funkcji. Zatem moja macierz danych treningowych wynosi - 200 000 x 10 000. Udało mi się zapisać to w płaskim pliku bez problemów z pamięcią, zapisując każdy zestaw danych jeden po drugim (jeden przykład po drugim) podczas generowania funkcji dla …

10 machine-learning dataset algorithms python

4

Od adresu e-mail po quasi-losowy numer [zamknięty]

Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było tematem dotyczącym weryfikacji krzyżowej. Zamknięte 2 lata temu . Mój cel: Chciałbym mieć funkcję, która pobiera adres e-mail i wyświetla quasi-losową liczbę 1, 2, 3 lub 4. Mały szczegół: Przez …

10 algorithms random-generation

3

Algorytm uczenia maszynowego do rankingu

Mam zestaw elementów które mogę opisać według cech. A zatem:XXXnnn xja: {doi 1,doi 2, ... ,doi n} ∣xja∈ Xxja:{doja1,doja2),…,dojan}∣xja∈Xx_i: \{c_{i1}, c_{i2}, \ldots, c_{in}\} \mid x_i \in X gdzie to (numeryczna) ocena dla elementu zgodnie z cechami . Moje elementy można więc oglądać jako punkty w przestrzeni n- wymiarowej.doI jdojajotc_{ij}jajaijotjotjnnn Zgodnie …

10 machine-learning algorithms ranking feature-construction

1

koszt próbkowania w wysokości

Natknąłem się na następujący problem z symulacją: biorąc pod uwagę zestaw {ω1, ... ,ωre}{ω1,…,ωd}\{\omega_1,\ldots,\omega_d\} znanych liczb rzeczywistych, rozkład na { - 1 , 1}re{−1,1}d\{-1,1\}^d jest zdefiniowany przez P (X= (x1, ... ,xre) ) ∝ (x1ω1+ … +xreωre)+P(X=(x1,…,xd))∝(x1ω1+…+xdωd)+\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+ gdzie ( z)+(z)+(z)_+ oznacza pozytywną część zzz. Chociaż mogę wymyślić próbnik Metropolis-Hastings …

9 simulation algorithms random-generation computational-statistics metropolis-hastings

2

Jak próbkować obcięty rozkład wielomianowy?

Potrzebuję algorytmu do próbkowania obciętego rozkładu wielomianowego. To jest, x⃗ ∼1Zpx11…pxkkx1! …xk!x→∼1Zp1x1…pkxkx1!…xk!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} gdzie ZZZ jest stałą normalizacyjną, x⃗ x→\vec x ma kkk pozytywne składniki i ∑xja= n∑xi=n\sum x_i = n. Rozważam tylko wartościx⃗ x→\vec{x} w zasięgu za⃗ ≤x⃗ ≤b⃗ a→≤x→≤b→\vec a \le \vec …

9 algorithms multinomial random-generation

Pytania otagowane jako algorithms