Nauka danych machine-learning

2

Ile czasu zajmuje klasyfikator scikit na klasyfikację?

Planuję użyć klasyfikatora SVM (Scikit Line Support Vector Machine) do klasyfikacji tekstu na korpusie składającym się z 1 miliona oznakowanych dokumentów. Planuję zrobić, gdy użytkownik wpisze jakieś słowo kluczowe, klasyfikator najpierw sklasyfikuje je w kategorii, a następnie w dokumentach tej kategorii nastąpi kolejne zapytanie o wyszukiwanie informacji. Mam parę pytań: …

10 machine-learning classification python scikit-learn

2

Debugowanie sieci neuronowych

Zbudowałem sztuczną sieć neuronową w Pythonie za pomocą funkcji optymalizacji scipy.optimize.minimize (gradient sprzężony). Wdrożyłem sprawdzanie gradientu, podwójnie sprawdziłem wszystko itp. Jestem pewien, że działa poprawnie. Uruchomiłem go kilka razy i osiąga on „Optymalizacja zakończona pomyślnie”, ale kiedy zwiększę liczbę ukrytych warstw, koszt hipotezy wzrasta (wszystko inne pozostaje takie samo) po …

10 machine-learning python neural-network

2

jakie maszyny / techniki głębokiego uczenia / techniki nlp są używane do klasyfikowania danych słów jako nazwa, numer telefonu komórkowego, adres, adres e-mail, stan, okręg, miasto itp.

Próbuję wygenerować inteligentny model, który może skanować zestaw słów lub ciągów i klasyfikować je jako nazwy, numery telefonów komórkowych, adresy, miasta, stany, kraje i inne podmioty korzystające z uczenia maszynowego lub głębokiego uczenia się. Szukałem podejść, ale niestety nie znalazłem żadnego podejścia. Próbowałem z osadzeniem worka słów model i rękawiczki, …

9 machine-learning deep-learning text-mining natural-language-process

1

Niezrównoważone dane powodujące błędną klasyfikację zestawu danych wieloklasowych

Pracuję nad klasyfikacją tekstu, w której mam 39 kategorii / klas i 8,5 miliona rekordów. (W przyszłości dane i kategorie wzrosną). Struktura lub format moich danych jest następująca. ---------------------------------------------------------------------------------------- | product_title | Key_value_pairs | taxonomy_id | ---------------------------------------------------------------------------------------- Samsung S7 Edge | Color:black,Display Size:5.5 inch,Internal | 211 Storage:128 GB, RAM:4 GB,Primary …

9 machine-learning python classification scikit-learn multiclass-classification

2

Który algorytm zastosować do wyboru właściwego punktu

Zdjęcie poniżej pokazuje 7 punktów wokół początku. Jeden z nich został wybrany przez człowieka na podstawie zasad i doświadczenia i ma kolor czerwony (ten w lewym dolnym kwadrancie). Teraz mamy ponad 1000 takich zestawów punktów i dla każdego zestawu człowiek wybrał jeden punkt. Warunki te dotyczą wszystkich zestawów: Każdy zestaw …

9 machine-learning

2

„Głębokie twierdzenie Noether”: budowanie w ograniczeniach symetrii

Jeśli mam problem z uczeniem się, który powinien mieć nieodłączną symetrię, czy istnieje sposób na poddanie mojego problemu uczenia się ograniczeniu symetrii w celu usprawnienia uczenia się? Na przykład, jeśli wykonuję rozpoznawanie obrazu, może potrzebuję symetrii obrotowej 2D. Oznacza to, że obrócona wersja obrazu powinna uzyskać taki sam wynik jak …

9 machine-learning

1

Jak podejść do problemu klasyfikacji, w którym jedna z klas jest zdefiniowana jako „żadna z pozostałych”

Załóżmy, że interesują mnie trzy klasy , , . Ale mój zestaw danych zawiera jeszcze kilka prawdziwych klas .c1c1c_1c2c2c_2c3c3c_3(cj)nj=4(cj)j=4n(c_j)_{j=4}^n Oczywistą odpowiedzią jest zdefiniowanie nowej klasy która odnosi się do wszystkich klas , ale podejrzewam, że nie jest to dobry pomysł, ponieważ próbki w będą rzadkie i niezbyt do siebie podobne.c^4c^4\hat …

9 machine-learning classification

3

Dlaczego nie wytrenować ostatecznego modelu na całych danych po przeprowadzeniu danych testowych dostrajania hiperparametrów i danych walidacyjnych na podstawie wyboru modelu?

Przez całe dane rozumiem pociąg + test + walidacja Po poprawieniu hiperparametru przy użyciu danych sprawdzania poprawności i wybraniu modelu przy użyciu danych testowych, czy nie lepiej byłoby, aby model został wyszkolony na całych danych, tak aby parametry były lepiej wyszkolone, niż model wyuczony na dane pociągu

9 machine-learning

3

Po co używać splotowych NN do zadań kontroli wizualnej w porównaniu z klasycznym dopasowaniem szablonu CV?

Miałem interesującą dyskusję na podstawie projektu, nad którym pracowaliśmy: po co używać systemu kontroli wizualnej CNN zamiast algorytmu dopasowywania szablonów? Tło: Pokazałem demo prostego systemu wizyjnego CNN (kamera internetowa + laptop), który wykrył, czy określony typ obiektu został „uszkodzony” / uszkodzony, czy nie - w tym przypadku płytka drukowana PCB. …

9 machine-learning convnet image-classification

1

liczba parametrów warstw splotu

W tym cytowanym artykule autorzy przedstawiają następującą dyskusję na temat liczby parametrów masy. Nie jestem do końca jasne, dlaczego ma parametry . Myślę, że powinien to być ponieważ każdy z kanałów wejściowych ma ten sam filtr, który ma parametrów.49C249C249C^249C49C49CCCC494949

9 machine-learning deep-learning computer-vision

4

Interpretacja drzewa decyzyjnego w kontekście ważności operacji

Próbuję zrozumieć, jak w pełni zrozumieć proces decyzyjny modelu klasyfikacji drzewa decyzyjnego zbudowanego za pomocą sklearn. Dwa główne aspekty, na które patrzę, to reprezentacja drzewa grafviz oraz lista ważniejszych cech. To, czego nie rozumiem, to sposób, w jaki znaczenie funkcji jest określane w kontekście drzewa. Na przykład, oto moja lista …

9 machine-learning visualization scikit-learn data decision-trees

2

Dlaczego szybkość uczenia się powoduje, że waga mojej sieci neuronowej gwałtownie rośnie?

Używam tensorflow do pisania prostych sieci neuronowych w celu trochę badań i miałem wiele problemów z wagami „nan” podczas treningu. Próbowałem wielu różnych rozwiązań, takich jak zmiana optymalizatora, zmiana utraty, rozmiaru danych itp., Ale bezskutecznie. Wreszcie zauważyłem, że zmiana współczynnika uczenia się spowodowała niewiarygodną różnicę w moich wagach. Przy zastosowaniu …

9 machine-learning python tensorflow optimization gradient-descent

2

Cechy wektorów słownych w word2vec

Próbuję przeprowadzić analizę sentymentu. Aby przekonwertować słowa na wektory słów, używam modelu word2vec. Załóżmy, że mam wszystkie zdania na liście o nazwie „zdania” i przekazuję te zdania do word2vec w następujący sposób: model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3) Ponieważ jestem nobem wektory słów, mam dwie wątpliwości. 1- …

9 machine-learning deep-learning word-embeddings word2vec sentiment-analysis

1

Jak podejść do konkurencji numer.ai z anonimowymi skalowanymi predyktorami liczbowymi?

Numer.ai istnieje już od jakiegoś czasu i wydaje się, że w Internecie jest niewiele postów lub innych dyskusji na ten temat. System zmieniał się od czasu do czasu, a dzisiejsza konfiguracja jest następująca: pociąg (N = 96K) i dane testowe (N = 33K) z 21 cechami o wartościach ciągłych w …

9 machine-learning deep-learning cross-validation preprocessing competitions

3

Jakie, jeśli w ogóle, algorytmy uczenia maszynowego są akceptowane jako dobry kompromis między wyjaśnialnością a prognozowaniem?

Teksty uczenia maszynowego opisujące algorytmy, takie jak maszyny zwiększające gradient lub sieci neuronowe, często komentują, że modele te są dobre w przewidywaniu, ale dzieje się to kosztem utraty wyjaśnialności lub interpretacji. I odwrotnie, drzewa z pojedynczą decyzją i klasyczne modele regresji są oznaczone jako dobre w wyjaśnieniu, ale dają (względnie) …

9 machine-learning predictive-modeling

Pytania otagowane jako machine-learning