Nauka danych

1

Przekształcanie danych do głębokiego uczenia się za pomocą Keras

Jestem początkującym w Keras i zacząłem od przykładu MNIST, aby zrozumieć, jak biblioteka faktycznie działa. Fragment kodu problemu MNIST w przykładowym folderze Keras podano jako: import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers …

10 python neural-network deep-learning keras

5

Skok wymiarów w uczeniu maszynowym

Jaki jest problem przeskakiwania wymiarów w uczeniu maszynowym (występujący w splotowych sieciach neuronowych i rozpoznawaniu obrazów)? Zaglądałem na ten temat, ale dostaję tylko informacje na temat fizyki deformacji kształtu materiału. Będzie mi bardziej pomocne, jeśli ktoś wyjaśni to na przykładzie związanym z uczeniem maszynowym. Czy ktoś może mi w tym …

10 machine-learning image-recognition

3

Kiedy powinniśmy uznać zestaw danych za niezrównoważony?

Mam do czynienia z sytuacją, w której liczba pozytywnych i negatywnych przykładów w zbiorze danych jest niezrównoważona. Moje pytanie brzmi: czy istnieją jakieś praktyczne zasady, które mówią nam, kiedy powinniśmy podpróbować dużą kategorię, aby wymusić pewien rodzaj równoważenia w zbiorze danych. Przykłady: Jeśli liczba pozytywnych przykładów wynosi 1000, a liczba …

10 classification dataset sampling class-imbalance

2

Narzędzia do automatycznego wykrywania anomalii w tabeli SQL?

Mam dużą tabelę SQL, która jest w zasadzie dziennikiem. Dane są dość złożone i staram się znaleźć sposób na zidentyfikowanie anomalii bez zrozumienia wszystkich danych. Znalazłem wiele narzędzi do wykrywania anomalii, ale większość z nich wymaga „pośredniego człowieka”, tj. Elastic Search, Splunk itp. Czy ktoś wie o narzędziu, które można …

10 sql anomaly-detection outlier

2

Python Machine Learning / Data Science Struktura projektu

Szukam informacji o tym, jak powinien zostać zorganizowany projekt uczenia maszynowego w języku Python. Dla zwykłych projektów w Pythonie jest Cookiecutter, a dla R ProjectTemplate . To jest moja obecna struktura folderów, ale mieszam Notatniki Jupyter z rzeczywistym kodem Pythona i nie wydaje się to zbyt jasne. . ├── cache …

10 python

3

Czy kierunek krawędzi w sieci Bayes jest nieistotny?

Dzisiaj w wykładzie twierdzono, że kierunek krawędzi w sieci Bayesa nie ma tak naprawdę znaczenia. Nie muszą reprezentować przyczynowości. Oczywiste jest, że nie można zmienić żadnego pojedynczego brzegu w sieci Bayes. Na przykład, niech z V = { v 1 , v 2 , v 3 } i E = …

10 bayesian-networks

1

Konwergencja w metodzie k-średnich Hartigana-Wonga i innych algorytmach

Próbowałem zrozumieć różne algorytmy grupowania k-średnich, które są głównie zaimplementowane w statspakiecie Rjęzyka. Rozumiem algorytm Lloyda i algorytm online MacQueena. Sposób ich rozumienia jest następujący: Algorytm Lloyda: Początkowo wybiera się losowe obserwacje „k”, które będą służyć jako centroidy gromad „k”. Następnie w iteracji następują następujące kroki, aż centroidy zbiegną się. …

10 r clustering k-means

2

ggvis vs. ggplot2 + Shiny; który wybrać do interaktywnej wizualizacji?

W CrossValidated jest podobne pytanie i przeczytałem odpowiedzi. Moje pytanie jest trochę inne. Nie chcę jedynie wizualizować moich danych, a tak naprawdę to, co chcę wizualizować, nie jest łatwe do wizualizacji za pomocą żadnego z pakietów. Na moim wykresie mam dwa zestawy punktów ( współrzędne ). Chcę dodać krawędzie i …

10 r visualization ggplot2

2

Testowanie oprogramowania dla Data Science w R.

Często używam Nosa, Toxa lub Unittesta podczas testowania mojego kodu python, szczególnie gdy musi on być zintegrowany z innymi modułami lub innymi fragmentami kodu. Jednak teraz, gdy odkryłem, że używam R więcej niż pytona do modelowania i programowania ML. Uświadomiłem sobie, że tak naprawdę nie testuję mojego kodu R (a …

10 r software-development

1

Analiza dziennika serwera za pomocą uczenia maszynowego

Przydzielono mi to zadanie do analizy dzienników serwera naszej aplikacji, która zawiera dzienniki wyjątków, dzienniki zdarzeń w bazach danych itp. Jestem nowy w uczeniu maszynowym, używamy Spark z elastycznym wyszukiwaniem i Sparks MLlib (lub PredictionIO). Przykład pożądanego wynik byłby w stanie przewidzieć na podstawie zebranych dzienników wyjątków, aby móc przewidzieć, …

10 machine-learning predictive-modeling apache-spark

1

Problem z klasyfikacją tekstu: czy Word2Vec / NN jest najlepszym podejściem?

Chcę zaprojektować system, który po akapicie tekstu będzie mógł go skategoryzować i zidentyfikować kontekst: Jest szkolony z akapitów tekstowych generowanych przez użytkowników (takich jak komentarze / pytania / odpowiedzi) Każdy element w zestawie treningowym zostanie oznaczony. Więc na przykład („kategoria 1”, „tekst akapit”) Będą setki kategorii Jakie byłoby najlepsze podejście …

10 neural-network text-mining multiclass-classification word-embeddings

2

Jak sztuczna inteligencja uczy się działać, gdy przestrzeń problemowa jest zbyt duża

Uczę się najlepiej poprzez eksperymenty i przykłady. Uczę się o sieciach neuronowych i mam (co myślę) całkiem niezłe rozumienie klasyfikacji i regresji, a także uczenie się pod nadzorem i bez nadzoru, ale natknąłem się na coś, czego nie potrafię zrozumieć; Gdybym chciał wytrenować AI w skomplikowanej grze; Myślę o czymś …

10 machine-learning neural-network

2

Kooperacyjne uczenie się przez wzmacnianie

Mam już działającą implementację dla pojedynczego agenta pracującego nad problemem cen dynamicznych w celu maksymalizacji przychodów. Problem, z którym pracuję, wiąże się jednak z kilkoma różnymi produktami, które są dla siebie zamiennikami, więc dynamiczna wycena ich wszystkich przez niezależnych uczniów wydaje się nieprawidłowa, ponieważ cena jednego wpływa na nagrodę drugiego. …

10 machine-learning reinforcement-learning

1

Przekształcanie AutoEncoderów

Właśnie przeczytałem artykuł Geoffa Hintona na temat transformacji autoencoderów Hinton, Krizhevsky i Wang: Transforming Auto- encoders . W sztucznych sieciach neuronowych i uczeniu maszynowym, 2011. i chciałbym się bawić z czymś takim. Ale po przeczytaniu nie mogłem uzyskać wystarczającej ilości szczegółów z gazety na temat tego, jak mogę to w …

10 neural-network deep-learning autoencoder

7

Projekty informatyczne wyjaśnione krok po kroku?

Szukam strony internetowej lub książki, w której krok po kroku podano kilka praktycznych przykładów, wyjaśniających, w jaki sposób wybierają odpowiednie funkcje, procedurę wyboru modelu itp.

10 machine-learning feature-selection