Podejścia przy uczeniu się z ogromnych zestawów danych?

Zasadniczo istnieją dwa typowe sposoby uczenia się przeciwko ogromnym zestawom danych (gdy napotykasz ograniczenia czasowe / przestrzenne):

1. Oszukiwanie :) - użyj tylko „zarządzalnego” podzbioru do treningu. Utrata dokładności może być nieistotna z uwagi na prawo malejących zwrotów - predykcyjne działanie modelu często spłaszcza się na długo przed włączeniem do niego wszystkich danych treningowych.
2. Przetwarzanie równoległe - podziel problem na mniejsze części i rozwiąż każdą z nich na osobnej maszynie / procesorze. Potrzebujesz jednak równoległej wersji algorytmu, ale dobra wiadomość jest taka, że ​​wiele popularnych algorytmów jest naturalnie równoległych: najbliższy sąsiad, drzewa decyzyjne itp.

Czy są inne metody? Czy jest jakaś reguła, kiedy z nich korzystać? Jakie są wady każdego podejścia?

Stream Mining to jedna odpowiedź. Jest również nazywany:

• Wydobywanie strumieni danych
• Nauka online

• Ogromna nauka online

  Zamiast zapisywać wszystkie dane w pamięci i trenować z nich. Zapisują je w pamięci i trenują klasyfikatory / klastry z tego strumienia fragmentów. Zobacz poniższe linki.

• Data_stream_mining z wikipedii.

• MOA: masowa analiza online

  • Artykuł
  • Narzędzie napisane w Javie, potrafi korzystać z algorytmów weka
  • Książka

• Mining of Massive Datasets Book , From Stanford University. Używa MapReduce jako narzędzia.

• Filmy w videolectures.net. Szukaj w tej witrynie podobne filmy wideo.

  • Najnowocześniejszy w górnictwie strumieni danych
  • Wydobywanie ogromnych zestawów danych

Zamiast używać tylko jednego podzbioru, można użyć wielu podzbiorów, tak jak w uczeniu mini-wsadowym (np. Stochastyczne obniżanie gradientu). W ten sposób nadal będziesz korzystać ze wszystkich swoich danych.

Zespoły takie jak tworzenie worków lub mieszanie - żadne dane nie są marnowane, problem automatycznie staje się trywialnie równoległy i może wystąpić znaczny wzrost dokładności / niezawodności.