Pytania otagowane jako convolution

Obecnie prowadzę samouczek dogłębnej nauki Udacity. W lekcji 3 rozmawiają o zwoju 1x1. Ten splot 1x1 jest używany w module Google Inception. Mam problem ze zrozumieniem, czym jest splot 1x1. Widziałem również ten post przez Yann Lecun. Czy ktoś mógłby mi to wyjaśnić?

106 neural-networks  deep-learning  convolution  conv-neural-network 

Odkryłem, że Imagenet i inne duże CNN korzystają z lokalnych warstw normalizacji odpowiedzi. Nie mogę jednak znaleźć tylu informacji na ich temat. Jak ważne są i kiedy należy je stosować? From http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : „Lokalna warstwa normalizacyjna odpowiedzi dokonuje pewnego rodzaju„ bocznego hamowania ”poprzez normalizację w lokalnych regionach wejściowych. W trybie …

41 deep-learning  convolution  conv-neural-network 

Nie mam tła z zakresu widzenia komputerowego, ale kiedy czytam artykuły i artykuły dotyczące przetwarzania obrazów i splotowych sieci neuronowych, ciągle spotykam się z tym terminem translation invariance, lub translation invariant. Czy czytam dużo, że zapewnia to konwolucja translation invariance? !! co to znaczy? Sam zawsze tłumaczyłem to sobie, jakby …

38 machine-learning  conv-neural-network  convolution  computer-vision 

Przez długi czas nie rozumieć, dlaczego „suma” dwóch zmiennych losowych jest ich uwypuklony , natomiast suma funkcji gęstości mieszaniny f(x)f(x)f(x) i g(x)g(x)g(x) jest pf(x)+(1−p)g(x)pf(x)+(1−p)g(x)p\,f(x)+(1-p)g(x); suma arytmetyczna, a nie ich splot. Dokładna fraza „suma dwóch zmiennych losowych” pojawia się w Google 146 000 razy i jest eliptyczna w następujący sposób. Jeśli …

33 pdf  terminology  cdf  mixture  convolution 

[To pytanie zadawano również przy przepełnieniu stosu] Pytanie w skrócie Badam splotowe sieci neuronowe i uważam, że sieci te nie traktują każdego neuronu wejściowego (piksela / parametru) w sposób równoważny. Wyobraź sobie, że mamy głęboką sieć (wiele warstw), która stosuje splot na niektórych obrazach wejściowych. Neurony w „środku” obrazu mają …

30 machine-learning  neural-networks  convolution 

Kiedy korzystam z GAM, daje mi resztkowy DF (ostatni wiersz kodu). Co to znaczy? Wychodząc poza przykład GAM, ogólnie, czy liczba stopni swobody może być liczbą niecałkowitą?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Próbuję lepiej zrozumieć szacowanie gęstości jądra. Korzystanie z definicji z Wikipedii: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fah^( x ) = 1n∑ni = 1K.h( x - xja)= 1n h∑ni = 1K.( x - xjah)fah^(x)=1n∑ja=1nK.h(x-xja)=1nh∑ja=1nK.(x-xjah) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Weźmy być funkcją prostokątną, co daje , jeżeli wynosi …

25 r  kernel-smoothing  convolution 

Architektura AlexNet korzysta z wypełnień zerowych, jak pokazano na rysunku: W artykule nie ma jednak wyjaśnienia, dlaczego wprowadzono to wypełnienie. Kurs Standford CS 231n uczy, że używamy paddingu, aby zachować rozmiar przestrzenny: Zastanawiam się, czy to jedyny powód, dla którego potrzebujemy wypełnienia? Mam na myśli, że jeśli nie muszę zachowywać …

19 conv-neural-network  convolution 

(Pierwotnie opublikowane na MSE.) Widziałem wiele heurystycznych dyskusji na temat klasycznego centralnego twierdzenia granicznego mówiących o rozkładzie normalnym (lub dowolnym rozkładzie stabilnym) jako „atraktorze” w przestrzeni gęstości prawdopodobieństwa. Weźmy na przykład następujące zdania na początku traktowania Wikipedii : W bardziej ogólnym zastosowaniu, centralnym twierdzeniem granicznym jest dowolny zestaw twierdzeń o …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

Studiuję splotowe sieci neuronowe (CNN) ze względu na ich zastosowania w wizji komputerowej. Znam już standardowe sieci neuronowe typu feed-forward, więc mam nadzieję, że niektórzy ludzie tutaj pomogą mi zrobić dodatkowy krok w zrozumieniu CNN. Oto, co myślę o CNN: W tradycyjnych NN z feed-feedem mamy dane treningowe, w których …

16 neural-networks  deep-learning  conv-neural-network  convolution 

W splotowych sieciach neuronowych (CNN) matryca wag na każdym kroku zostaje odwrócona w celu uzyskania macierzy jądra przed przystąpieniem do splotu. Wyjaśnia to seria filmów Hugo Larochelle tutaj : Obliczenie ukrytych map odpowiadałoby wykonaniu dyskretnego splotu z kanałem z poprzedniej warstwy, przy użyciu macierzy jądra [...], a jądro to jest …

14 machine-learning  neural-networks  conv-neural-network  convolution 

następujący problem pojawił się ostatnio podczas analizy danych. Jeśli zmienna losowa X podąża za rozkładem normalnym, a Y za (z n dof), jak rozkłada się ? Do tej pory wymyśliłem pdf : χ2nχn2\chi^2_nZ=X2+Y2Z=X2+Y2Z = X^2 + Y^2Y2Y2Y^2ψ2n(x)====∂F(x−−√)∂x(∫x√0tn/2−1⋅e−t/22n/2Γ(n/2)dt)′x12n/2Γ(n/2)⋅(x−−√)n/2−1⋅e−x√/2⋅(x−−√)′x12n/2−1Γ(n/2)⋅xn/4−1⋅e−x√/2ψn2(x)=∂F(x)∂x=(∫0xtn/2−1⋅e−t/22n/2Γ(n/2)dt)x′=12n/2Γ(n/2)⋅(x)n/2−1⋅e−x/2⋅(x)x′=12n/2−1Γ(n/2)⋅xn/4−1⋅e−x/2\begin{eqnarray} \psi^2_n(x) &=& \frac{\partial F(\sqrt{x})}{\partial x} \\ &=& \left( \int_0^{\sqrt{x}} \frac{t^{n/2-1}\cdot e^{-t/2}}{2^{n/2}\Gamma(n/2)} \mathrm{d}t \right)^\prime_x …

14 probability  distributions  normal-distribution  chi-squared  convolution 

Czytałem książkę Yoshua Bengio o głębokim uczeniu się i na stronie 224 napisano: Sieci splotowe to po prostu sieci neuronowe, które używają splotu zamiast ogólnego mnożenia macierzy w co najmniej jednej z ich warstw. nie byłem jednak w 100% pewien, jak „zastąpić mnożenie macierzy splotem” w matematycznie precyzyjnym sensie. To, …

13 machine-learning  neural-networks  deep-learning  convolution 

Próbuję zrozumieć, dlaczego suma dwóch (lub więcej) logarytmicznych zmiennych losowych zbliża się do rozkładu logarytmicznego wraz ze wzrostem liczby obserwacji. Szukałem w Internecie i nie znalazłem żadnych wyników dotyczących tego. Oczywiście, jeśli i są niezależnymi zmiennymi logarytmicznymi, to dzięki właściwościom wykładników i losowych zmiennych gaussowskich jest również logarytmiczny. Nie ma …

11 distributions  lognormal  convolution  sum 

Na podstawie tego, czego się nauczyłem, używamy wielu filtrów w warstwie konwekcyjnej CNN, aby uczyć się różnych detektorów funkcji. Ale skoro filtry te są stosowane w podobny sposób (tzn. Przesuwane i mnożone do obszarów danych wejściowych), czy nie nauczyłyby się po prostu tych samych parametrów podczas treningu? Stąd użycie wielu …

11 neural-networks  conv-neural-network  convolution  filter