Dodatkowa warstwa wyjściowa w sieci neuronowej (dziesiętna do binarnej)

Pracuję nad pytaniem z książki online:

http://neuralnetworksanddeeplearning.com/chap1.html

Rozumiem, że jeśli dodatkowa warstwa wyjściowa składa się z 5 neuronów wyjściowych, prawdopodobnie mogłabym ustawić odchylenie na 0,5 i wagę 0,5 dla każdej poprzedniej warstwy. Ale pytanie wymaga teraz nowej warstwy czterech neuronów wyjściowych - co jest więcej niż wystarczające do przedstawienia 10 możliwych wyników przy .$2^{4}$

Czy ktoś może przeprowadzić mnie przez kroki związane ze zrozumieniem i rozwiązaniem tego problemu?

Pytanie ćwiczeniowe:

Istnieje sposób ustalenia bitowej reprezentacji cyfry poprzez dodanie dodatkowej warstwy do trójwarstwowej sieci powyżej. Dodatkowa warstwa przekształca dane wyjściowe z poprzedniej warstwy w reprezentację binarną, jak pokazano na poniższym rysunku. Znajdź zestaw wag i odchyleń dla nowej warstwy wyjściowej. Załóżmy, że pierwsze 3 warstwy neuronów są takie, że prawidłowe wyjście w trzeciej warstwie (tj. Starej warstwie wyjściowej) ma aktywację co najmniej 0,99, a nieprawidłowe wyjścia mają aktywację mniejszą niż 0,01.

Pytanie wymaga wykonania następującego mapowania między starą reprezentacją a nową reprezentacją:

Represent    Old                     New
0            1 0 0 0 0 0 0 0 0 0     0 0 0 0 
1            0 1 0 0 0 0 0 0 0 0     0 0 0 1 
2            0 0 1 0 0 0 0 0 0 0     0 0 1 0 

3            0 0 0 1 0 0 0 0 0 0     0 0 1 1 
4            0 0 0 0 1 0 0 0 0 0     0 1 0 0 
5            0 0 0 0 0 1 0 0 0 0     0 1 0 1 

6            0 0 0 0 0 0 1 0 0 0     0 1 1 0 
7            0 0 0 0 0 0 0 1 0 0     0 1 1 1 
8            0 0 0 0 0 0 0 0 1 0     1 0 0 0 

9            0 0 0 0 0 0 0 0 0 1     1 0 0 1

Ponieważ stara warstwa wyjściowa ma prostą formę, jest to dość łatwe do osiągnięcia. Każdy neuron wyjściowy powinien mieć dodatnią wagę między sobą a neuronami wyjściowymi, które powinny być włączone, aby je reprezentować, oraz ujemną wagę między sobą a neuronami wyjściowymi, które powinny być wyłączone. Wartości powinny być łączone, aby były wystarczająco duże, aby czysto włączyć lub wyłączyć, więc użyłbym dużych wag, takich jak +10 i -10.

Jeśli masz tutaj aktywacje sigmoidalne, uprzedzenie nie jest tak istotne. Chcesz po prostu nasycić każdy neuron w kierunku włączenia lub wyłączenia. Pytanie pozwoliło ci przyjąć bardzo wyraźne sygnały w starej warstwie wyjściowej.

$i=3$$A_3^{Old}$$Z_j^{New}$$Z_j^{New} = \Sigma_{i=0}^{i=9} W_{ij} * A_i^{Old}$

Powinno to wyraźnie dawać wynik zbliżony do 0 0 1 1wyjścia, gdy aktywny jest tylko neuron starej warstwy wyjściowej reprezentujący „3”. W pytaniu możesz założyć aktywację 0,99 jednego neuronu i <0,01 dla konkurencyjnych w starej warstwie. Tak więc, jeśli użyjesz tej samej wielkości wag przez cały czas, wówczas stosunkowo małe wartości pochodzące od + -0,1 (0,01 * 10) z innych starych wartości aktywacji warstwy nie będą miały poważnego wpływu na wartość + -9,9 i wyniki w nowej warstwie będzie nasycony bardzo blisko 0 lub 1.

Poniższy kod z SaturnAPI odpowiada na to pytanie. Zobacz i uruchom kod na https://saturnapi.com/artitw/neural-network-decimal-digits-to-binary-bitwise-conversion

% Welcome to Saturn's MATLAB-Octave API.
% Delete the sample code below these comments and write your own!

% Exercise from http://neuralnetworksanddeeplearning.com/chap1.html
% There is a way of determining the bitwise representation of a digit by adding an extra layer to the three-layer network above. The extra layer converts the output from the previous layer into a binary representation, as illustrated in the figure below. Find a set of weights and biases for the new output layer. Assume that the first 3 layers of neurons are such that the correct output in the third layer (i.e., the old output layer) has activation at least 0.99, and incorrect outputs have activation less than 0.01.

% Inputs from 3rd layer
xj = eye(10,10)

% Weights matrix
wj = [0 0 0 0 0 0 0 0 1 1 ;
      0 0 0 0 1 1 1 1 0 0 ;
      0 0 1 1 0 0 1 1 0 0 ;
      0 1 0 1 0 1 0 1 0 1 ]';

% Results
wj*xj


% Confirm results
integers = 0:9;
dec2bin(integers)

Pythoniczny dowód na powyższe ćwiczenie:

"""
NEURAL NETWORKS AND DEEP LEARNING by Michael Nielsen

Chapter 1

http://neuralnetworksanddeeplearning.com/chap1.html#exercise_513527

Exercise:

There is a way of determining the bitwise representation of a digit by adding an extra layer to the three-layer network above. The extra layer converts the output from the previous layer into a binary representation, as illustrated in the figure below. Find a set of weights and biases for the new output layer. Assume that the first 3 layers of neurons are such that the correct output in the third layer (i.e., the old output layer) has activation at least 0.99, and incorrect outputs have activation less than 0.01.

"""
import numpy as np


def sigmoid(x):
    return(1/(1+np.exp(-x)))


def new_representation(activation_vector):
    a_0 = np.sum(w_0 * activation_vector)
    a_1 = np.sum(w_1 * activation_vector)
    a_2 = np.sum(w_2 * activation_vector)
    a_3 = np.sum(w_3 * activation_vector)

    return a_3, a_2, a_1, a_0


def new_repr_binary_vec(new_representation_vec):
    sigmoid_op = np.apply_along_axis(sigmoid, 0, new_representation_vec)
    return (sigmoid_op > 0.5).astype(int)


w_0 = np.full(10, -1, dtype=np.int8)
w_0[[1, 3, 5, 7, 9]] = 1
w_1 = np.full(10, -1, dtype=np.int8)
w_1[[2, 3, 6, 7]] = 1
w_2 = np.full(10, -1, dtype=np.int8)
w_2[[4, 5, 6, 7]] = 1
w_3 = np.full(10, -1, dtype=np.int8)
w_3[[8, 9]] = 1

activation_vec = np.full(10, 0.01, dtype=np.float)
# correct number is 5
activation_vec[3] = 0.99

new_representation_vec = new_representation(activation_vec)
print(new_representation_vec)
# (-1.04, 0.96, -1.0, 0.98)
print(new_repr_binary_vec(new_representation_vec))
# [0 1 0 1]

# if you wish to convert binary vector to int
b = new_repr_binary_vec(new_representation_vec)
print(b.dot(2**np.arange(b.size)[::-1]))
# 5

Mała modyfikacja FullStack dotyczącej komentarzy Neila Slatera za pomocą Octave:

% gzanellato
% Octave

% 3rd layer:
A = eye(10,10);

% Weights matrix:

fprintf('\nSet of weights:\n\n')

wij = [-10 -10 -10 -10 -10 -10 -10 -10 10 10;
       -10 -10 -10 -10 10 10 10 10 -10 -10;
       -10 -10 10 10 -10 -10 10 10 -10 -10;
       -10 10 -10 10 -10 10 -10 10 -10 10]

% Any bias between -9.999.. and +9.999.. runs ok

bias=5

Z=wij*A+bias;

% Sigmoid function:

for j=1:10;
  for i=1:4;
    Sigma(i,j)=int32(1/(1+exp(-Z(i,j))));
  end
end

fprintf('\nBitwise representation of digits:\n\n')

disp(Sigma')