Nauka danych

1

GPU Accelerated Data Processing for R w Windows

Obecnie piszę artykuł na temat Big Data, który mocno wykorzystuje R do analizy danych. Zdarza mi się mieć GTX1070 w komputerze z powodów związanych z grami. Pomyślałem więc, że byłoby naprawdę fajnie, gdybym mógł to wykorzystać, aby przyspieszyć przetwarzanie niektórych rzeczy, które robią moi wykładowcy, ale tak naprawdę wcale nie …

11 r gpu parallel

2

Ile danych jest wystarczających do wyszkolenia mojego modelu uczenia maszynowego?

Od dłuższego czasu pracuję nad uczeniem maszynowym i bioinformatyką, a dziś rozmawiałem z kolegą na temat głównych ogólnych kwestii eksploracji danych. Mój kolega (który jest ekspertem w dziedzinie uczenia maszynowego) powiedział, że jego zdaniem najważniejszym praktycznym aspektem uczenia maszynowego jest, jak zrozumieć, czy zebrałeś wystarczającą ilość danych, aby wyszkolić swój …

11 machine-learning data-mining dataset data-cleaning data

2

Znajdź optymalne P (X | Y), biorąc pod uwagę, że mam model, który ma dobrą wydajność po treningu na P (Y | X)

Dane wejściowe: -> cechy koszulki (kolor, logo itp.)XXX -> marża zyskuYYY Trenowałem losowy las na powyższych i Y i osiągnąłem rozsądną dokładność na danych testowych. Więc mamXXXYYY .P.( Y| X)P(Y|X)P(Y|X) Chciałbym teraz znaleźć tj. Rozkład prawdopodobieństwa cech X, biorąc pod uwagę, że oczekuję tak dużej marży zysku.P.( X| Y)P(X|Y)P(X|Y)XXX Jak …

11 machine-learning random-forest generative-models

2

Jaka jest różnica między Dilated Convolution a Deconvolution?

Te dwie operacje splotu są obecnie bardzo powszechne w głębokim uczeniu się. O rozszerzonej warstwie splotowej przeczytałem w tym artykule: WAVENET: GENERACYJNY MODEL SUROWEGO AUDIO a Dekonwolucja znajduje się w tym artykule: W pełni konwolucyjne sieci dla segmentacji semantycznej Oba wydają się próbkować obraz, ale jaka jest różnica?

11 machine-learning deep-learning convnet computer-vision convolution

1

Trenuj na partiach w Tensorflow

Obecnie próbuję trenować model na dużym pliku csv (> 70 GB z ponad 60 milionami wierszy). Aby to zrobić, używam tf.contrib.learn.read_batch_examples. Mam problem ze zrozumieniem, w jaki sposób ta funkcja faktycznie odczytuje dane. Jeśli używam wielkości partii np. 50 000, czy odczytuje pierwsze 50 000 wierszy pliku? Jeśli chcę zapętlić …

11 python tensorflow

1

Sieć neuronowa Tensorflow TypeError: Argument Fetch ma niepoprawny typ

Tworzę prostą sieć neuronową za pomocą tensorflow, z danymi, które sam zebrałem, ale to nie współpracuje: PI napotkał błąd, którego nie mogę naprawić lub znaleźć dla, a chciałbym za twoją pomoc. Błąd: Błąd typu: argument pobierania 2861.6152 z 2861.6152 ma niepoprawny typ, musi być łańcuchem lub tensorem. (Nie można przekształcić …

11 machine-learning python neural-network tensorflow

2

Nie możesz znaleźć liniowej warstwy osadzającej w splotowej sieci neuronowej?

Mam architekturę sieci z artykułu „uczenie się drobnoziarnistego podobieństwa obrazu z głębokim rankingiem” i nie jestem w stanie zrozumieć, w jaki sposób dane wyjściowe z trzech równoległych sieci są łączone za pomocą liniowej warstwy osadzania. Jedyne informacje podane na tej warstwie w artykule to Na koniec normalizujemy osadzanie z trzech …

11 neural-network deep-network

4

Wyodrębnij informacje ze zdania

Tworzę prosty chatbot. Chcę uzyskać informacje z odpowiedzi użytkownika. Przykładowy scenariusz: Bot : Hi, what is your name? User: My name is Edwin. Chciałbym wydobyć imię Edwin ze zdania. Użytkownik może jednak reagować na różne sposoby, np User: Edwin is my name. User: I am Edwin. User: Edwin. Próbuję polegać …

11 python nlp

1

Jak zdefiniować niestandardową metrykę wydajności w Keras?

Próbowałem zdefiniować niestandardową funkcję metryczną (F1-Score) w Keras (backend Tensorflow) zgodnie z następującymi zasadami: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 Jak dotąd tak …

11 tensorflow keras evaluation

8

Definicja modelu w uczeniu maszynowym

Ta definicja nie do końca się stosuje, ponieważ nie zawsze przyjmujemy rozkład podstawowy. Czym więc tak naprawdę jest model? Czy GBM z określonymi hiperparametrami można uznać za model? Czy model to zbiór reguł?

11 machine-learning

3

Jak utworzyć interaktywny wykres rozproszenia PCA w Pythonie?

Matplotlib biblioteka jest bardzo zdolny, ale brakuje interaktywność, zwłaszcza wewnątrz Jupyter notebooka. Chciałbym dobro nieaktywny kreślenia narzędzie jak plot.ly .

11 python visualization pca jupyter

2

Jak działają „osoby świadomego rozpoznania”?

Alexa z Amazon , Nuance's Mix i Wit.ai z Facebooka używają podobnego systemu, aby określić, jak przekonwertować polecenie tekstowe na zamiar - tzn. Coś, co zrozumie komputer. Nie jestem pewien, jak brzmi „oficjalna” nazwa, ale nazywam to „celowym uznaniem”. Zasadniczo sposób na przejście z „proszę ustawić moje światła na 50% …

11 machine-learning nlp

1

Jak ustalić, czy sekwencja znaków jest angielskim słowem czy szumem

Jakie funkcje spróbujesz wyodrębnić z listy słów do przewidywania w przyszłości, czy to istniejące słowo, czy tylko bałagan znaków? Tam jest opis zadania, które tam znalazłem . Musisz napisać program, który może odpowiedzieć, czy dane słowo jest angielskim. To byłoby łatwe - wystarczy wyszukać słowo w słowniku - jest jednak …

11 machine-learning nlp text-mining algorithms

2

Klasyfikacja dokumentów za pomocą splotowej sieci neuronowej

Próbuję używać CNN (splotowa sieć neuronowa) do klasyfikowania dokumentów. CNN dla krótkiego tekstu / zdań był badany w wielu artykułach. Wydaje się jednak, że żaden dokument nie używał CNN do długiego tekstu lub dokumentu. Mój problem polega na tym, że dokument zawiera zbyt wiele funkcji. W moim zestawie danych każdy …

11 classification neural-network text-mining convnet word2vec

1

stosowanie word2vec na małych plikach tekstowych

Jestem zupełnie nowy w word2vec, więc proszę, zabierzcie to ze sobą. Mam zestaw plików tekstowych, z których każdy zawiera zestaw tweetów, między 1000 a 3000. Wybrałem wspólne słowo kluczowe („kw1”) i chcę znaleźć semantycznie odpowiednie terminy dla „kw1” za pomocą word2vec. Na przykład, jeśli słowem kluczowym jest „jabłko”, oczekiwałbym, że …

11 machine-learning nlp text-mining