Nauka danych

5

Jakie są standardowe sposoby obliczania odległości między dokumentami?

Kiedy mówię „dokument”, mam na myśli strony internetowe, takie jak artykuły z Wikipedii i wiadomości. Wolę odpowiedzi podające albo waniliowe leksykalne wskaźniki odległości, albo najnowocześniejsze semantyczne mierniki odległości, z silniejszą preferencją dla tych ostatnich.

34 machine-learning data-mining nlp text-mining similarity

7

Zorganizowane procesy czyszczenia danych

Z mojego ograniczonego wglądu w naukę danych przy użyciu R zdałem sobie sprawę, że czyszczenie złych danych jest bardzo ważną częścią przygotowywania danych do analizy. Czy są jakieś najlepsze praktyki lub procesy czyszczenia danych przed ich przetwarzaniem? Jeśli tak, to czy istnieją jakieś automatyczne lub półautomatyczne narzędzia, które wdrażają niektóre …

34 r data-cleaning

3

Multi GPU w kamerach

W jaki sposób można zaprogramować w bibliotece keras (lub tensorflow) szkolenie partycjonowania na wielu GPU? Powiedzmy, że jesteś w instancji Amazon ec2, która ma 8 procesorów graficznych i chciałbyś wykorzystać je wszystkie, aby trenować szybciej, ale twój kod dotyczy tylko jednego procesora lub karty graficznej.

33 python deep-learning tensorflow keras gpu

5

Otwieranie pliku 20 GB do analizy za pomocą pand

Obecnie próbuję otworzyć plik z pandami i pytonem do celów uczenia maszynowego, idealnie byłoby dla mnie mieć je wszystkie w ramce danych. Teraz plik ma 18 GB, a moja pamięć RAM to 32 GB, ale wciąż pojawiają się błędy pamięci. Czy z twojego doświadczenia jest to możliwe? Jeśli nie, czy …

33 python bigdata pandas anaconda

4

Intuicyjne wyjaśnienie utraty szumu (NCE)?

Czytam o NCE (forma próbkowania kandydata) z tych dwóch źródeł: Zapis Tensorflow Oryginalny papier Czy ktoś może mi pomóc w następujących kwestiach: Proste wyjaśnienie, w jaki sposób działa NCE (dla mnie powyższe było trudne do przeanalizowania i zrozumienia, więc coś intuicyjnego, które prowadzi do przedstawionej matematyki, byłoby świetne) Po punkcie …

32 deep-learning tensorflow word-embeddings sampling loss-function

5

Jakie są przypadki użycia dla Apache Spark vs. Hadoop

Z Hadoop 2.0 i YARN Hadoop prawdopodobnie nie jest już związany tylko rozwiązaniami zmniejszającymi mapę. Z tym postępem, jakie są przypadki użycia Apache Spark vs. Hadoop, biorąc pod uwagę, że oba siedzą na szczycie HDFS? Przeczytałem dokumentację wprowadzającą do Spark, ale jestem ciekawy, czy ktoś napotkał problem, który był bardziej …

30 apache-hadoop distributed knowledge-base

1

Papier: jaka jest różnica między normalizacją warstw, normalizacją okresowej partii (2016) i normalizacją partii RNN (2015)?

Tak więc ostatnio jest papier do normalizacji warstw . Istnieje również jego implementacja w Keras. Ale pamiętam, że są artykuły zatytułowane Recurrent Batch Normalization (Cooijmans, 2016) i Batch Normalized Recurrent Neural Networks (Laurent, 2015). Jaka jest różnica między tymi trzema? Istnieje sekcja Powiązana praca, której nie rozumiem: Normalizacja partii została …

30 deep-learning rnn normalization batch-normalization

1

Jaki jest najlepszy model Keras do klasyfikacji wielu klas?

Pracuję na badania, gdzie potrzeba klasyfikowania jednego zwycięzcy trzech zdarzeń = ( win, draw, lose) WINNER LEAGUE HOME AWAY MATCH_HOME MATCH_DRAW MATCH_AWAY MATCH_U2_50 MATCH_O2_50 3 13 550 571 1.86 3.34 4.23 1.66 2.11 3 7 322 334 7.55 4.1 1.4 2.17 1.61 Mój obecny model to: def build_model(input_dim, output_classes): model …

30 python neural-network classification clustering keras

5

Głębokie uczenie się a zwiększanie gradientu: kiedy czego używać?

Mam problem z dużymi danymi z dużym zestawem danych (weźmy na przykład 50 milionów wierszy i 200 kolumn). Zestaw danych składa się z około 100 kolumn numerycznych i 100 kolumn kategorycznych oraz kolumny odpowiedzi reprezentującej problem klasy binarnej. Liczność każdej z kolumn jakościowych jest mniejsza niż 50. Chcę z góry …

30 machine-learning classification deep-learning

5

Co to jest funkcja Q i jaka jest funkcja V w uczeniu się przez wzmocnienie?

Wydaje mi się, że funkcja VVV może być łatwo wyrażona przez funkcję QQQ a zatem funkcja VVV wydaje mi się zbędna. Jednak jestem nowy w uczeniu się przez wzmacnianie, więc chyba coś poszło nie tak. Definicje Q- i V-learning są w kontekście procesów decyzyjnych Markowa . MDP jest 5-krotny (S,A,P,R,γ)(S,A,P,R,γ)(S, …

30 machine-learning reinforcement-learning

3

W klasyfikatorze softmax, po co używać funkcji exp do normalizacji?

Dlaczego warto używać softmax zamiast standardowej normalizacji? W obszarze komentarza górnej odpowiedzi na to pytanie @Kilian Batzner podniósł 2 pytania, które również bardzo mnie dezorientują. Wydaje się, że nikt nie wyjaśnia tego, oprócz korzyści liczbowych. Dostaję powody, dla których korzystam z Cross-Entropy Loss, ale jak to się ma do softmax? …

30 machine-learning deep-learning

7

Dlaczego dane powinny być tasowane dla zadań uczenia maszynowego

W zadaniach uczenia maszynowego często tasuje się dane i normalizuje je. Cel normalizacji jest jasny (dla tego samego zakresu wartości cech). Ale po wielu zmaganiach nie znalazłem żadnego cennego powodu do przetasowania danych. Przeczytałem tutaj ten post omawiający, kiedy musimy tasować dane, ale nie jest oczywiste, dlaczego powinniśmy tasować dane. …

30 machine-learning neural-network deep-learning

2

Czym jest Ground Truth

W kontekście uczenia maszynowego widziałem, że termin „ Prawda naziemna” jest często używany. Dużo szukałem i znalazłem następującą definicję w Wikipedii : W uczeniu maszynowym termin „podstawowa prawda” odnosi się do dokładności klasyfikacji zestawu szkoleniowego dla nadzorowanych technik uczenia się. Jest to wykorzystywane w modelach statystycznych do udowodnienia lub obalenia …

30 machine-learning neural-network deep-learning

5

Konwertuj listę list na ramkę danych Pandas

Próbuję przekonwertować listę list, która wygląda następująco na ramkę danych Pandas [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees ', '"Contreras Jose"', 5500000, ' Pitcher\n']] Zasadniczo …

30 pandas

1

Dlaczego xgboost jest o wiele szybszy niż sklearn GradientBoostingClassifier?

Próbuję wytrenować model zwiększania gradientu na ponad 50 tysiącach przykładów ze 100 funkcjami numerycznymi. XGBClassifierobsługuje 500 drzew w ciągu 43 sekund na mojej maszynie, a GradientBoostingClassifierobsługuje tylko 10 drzew (!) w 1 minutę i 2 sekundy :( Nie zawracałem sobie głowy próbą wyhodowania 500 drzew, ponieważ zajmie to godziny. Używam …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning