Konwertuj tablicę indeksów na 1-gorącą zakodowaną tablicę numpy


227

Powiedzmy, że mam tablicę numeryczną 1d

a = array([1,0,3])

Chciałbym zakodować to jako tablicę 2d 1-hot

b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])

Czy jest na to szybki sposób? To znaczy szybsze niż zapętlanie w acelu ustawienia elementów b, to znaczy.

Odpowiedzi:


395

Twoja tablica adefiniuje kolumny niezerowych elementów w tablicy wyjściowej. Musisz także zdefiniować wiersze, a następnie użyć fantazyjnego indeksowania:

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
Piękny. Uogólniając to trochę: b = np.zeros((a.size, a.max()+1))następnie `b [np. Zmiana (a.size), a] = 1`
James Atwood

10
@JamesAtwood to zależy od aplikacji, ale ustawiłbym maksimum na parametr i nie obliczałem go z danych.
Mohammad Moghimi

1
@MohammadMoghimi Pewnie, ma dla mnie sens.
James Atwood

7
co jeśli „a” to 2d? i potrzebujesz trójwymiarowej matrycy?
AD

8
Czy ktoś może wskazać wyjaśnienie, dlaczego to działa, ale wycinek z [:, a] nie?
N. McA.

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
To rozwiązanie jest jedyne przydatne dla wejściowej macierzy ND do jednoczęściowej macierzy N + 1D. Przykład: input_matrix = np.asarray ([[0,1,1], [1,1,2]]); np.eye (3) [input_matrix] # wyjściowy tensor 3D
Isaías

5
+1, ponieważ powinno to być lepsze niż przyjęte rozwiązanie. Jednak dla bardziej ogólnego rozwiązania valuespowinna być tablica Numpy, a nie lista Python, to działa ona we wszystkich wymiarach, nie tylko w 1D.
Alex

8
Należy pamiętać, że biorąc np.max(values) + 1jako liczbę segmentów może nie być pożądane, jeśli Twój zestaw danych jest, powiedzmy, losowo próbkowany i przypadkiem może nie zawierać maksymalnej wartości. Liczba segmentów powinna być raczej parametrem, a sprawdzenie / sprawdzenie może być na miejscu, aby sprawdzić, czy każda wartość mieści się w przedziale 0 (włącznie), a liczba segmentów (bez).
NightElfik

2
Dla mnie to rozwiązanie jest najlepsze i można je z łatwością uogólnić na dowolny tensor: def one_hot (x, depth = 10): return np.eye (depth) [x]. Zauważ, że podanie tensora x jako indeksu zwraca tensor x. Kształtowych rzędów oczu.
cecconeurale

4
Łatwy sposób na „zrozumienie” tego rozwiązania i dlaczego działa dla N-dimerów (bez czytania numpydokumentów): w każdej lokalizacji w oryginalnej macierzy ( values) mamy liczbę całkowitą ki „umieszczamy” 1-gorący wektor eye(n)[k]w tej lokalizacji . Dodaje to wymiar, ponieważ „umieszczamy” wektor w miejscu skalara w oryginalnej macierzy.
avivr

35

W przypadku korzystania z keras istnieje wbudowane narzędzie do tego:

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

I robi to prawie tak samo jak odpowiedź @ YXD (patrz kod źródłowy ).


32

Oto, co uważam za przydatne:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

Tutaj num_classesoznacza liczbę klas masz. Więc jeśli masz awektor o kształcie (10000,), ta funkcja przekształca go w (10000, C) . Zauważ, że ajest indeksowany na zero, tzn . one_hot(np.array([0, 1]), 2)Da [[1, 0], [0, 1]].

Dokładnie to, co chciałeś mieć, wierzę.

PS: źródłem są modele sekwencyjne - deeplearning.ai


także, z jakiego powodu wykonujemy np.squeeze (), ponieważ otrzymujemy (rozmiar wektora a) wiele jedno-zakodowanych na gorąco tablic przy użyciu np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using np.eye` tworzysz macierz diagonalną z każdym indeksem klasy jako 1 resztę zero, a później używając podanych indeksów przy a.reshape(-1)produkcji na wyjściu odpowiadający indeksu np.eye(). Nie zrozumiałem potrzeby, np.sqeezeponieważ używamy go do usuwania pojedynczych wymiarów, których nigdy nie będziemy mieć, ponieważ w wymiarze wyjściowym zawsze będzie(a_flattened_size, num_classes)
Anu

27

Możesz użyć sklearn.preprocessing.LabelBinarizer:

Przykład:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

wynik:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

Między innymi możesz zainicjować, sklearn.preprocessing.LabelBinarizer()aby wynik transformbył rzadki.


21

Możesz także użyć funkcji oka numpy:

numpy.eye(number of classes)[vector containing the labels]


1
Dla większej przejrzystości użycie np.identity(num_classes)[indices]może być lepsze. Niezła odpowiedź!
Oliver

5

Oto funkcja, która konwertuje wektor 1-D na 2-D z jedną gorącą macierzą.

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

Poniżej znajduje się przykładowe użycie:

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

Zauważ, że działa to tylko na wektory (i nie ma assertmożliwości sprawdzenia kształtu wektora;)).
johndodo

1
+1 za uogólnione sprawdzenie podejścia i parametrów. Jednak jako powszechną praktykę sugeruję, aby NIE używać twierdzeń do sprawdzania danych wejściowych. Użyj twierdzeń tylko do weryfikacji wewnętrznych warunków pośrednich. Zamiast tego przekonwertuj wszystko assert ___na if not ___ raise Exception(<Reason>).
fnunnari

3

Do kodowania 1 na gorąco

   one_hot_encode=pandas.get_dummies(array)

Na przykład

CIESZ SIĘ KODOWANIEM


Dzięki za komentarz, ale krótki opis tego, co robi kod, byłby bardzo pomocny!
Clarus

proszę odnieść się do przykładu
Shubham Mishra

@Clarus Kasa poniżej przykład. Możesz uzyskać dostęp do jednego gorącego kodowania każdej wartości w tablicy np. Wykonując one_hot_encode [wartość]. >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
Deepak

2

Myślę, że krótka odpowiedź brzmi „nie”. Dla bardziej ogólnego przypadku nwymiarów wymyśliłem to:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

Zastanawiam się, czy istnieje lepsze rozwiązanie - nie podoba mi się to, że muszę tworzyć te listy w dwóch ostatnich wierszach. W każdym razie zrobiłem kilka pomiarów timeiti wydaje się, że wersje numpy-basing ( indices/ arange) i wersje iteracyjne działają mniej więcej tak samo.


2

Aby rozwinąć doskonałą odpowiedź z K3 --- rnc , oto bardziej ogólna wersja:

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

Również tutaj jest szybkie i-brudny odniesienia tej metody i sposób od obecnie przyjętego odpowiedzi przez YXD (nieco zmieniona, tak, że oferują one tego samego API chyba że ten ostatni działa tylko z ndarrays 1D):

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

Ta druga metoda jest ~ 35% szybsza (MacBook Pro 13 2015), ale pierwsza jest bardziej ogólna:

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

Możesz użyć następującego kodu do konwersji na wektor z jednym gorącym:

niech x jest normalnym wektorem klas mającym pojedynczą kolumnę z klasami 0 do pewnej liczby:

import numpy as np
np.eye(x.max()+1)[x]

jeśli 0 nie jest klasą; następnie usuń +1.


1

Niedawno natknąłem się na problem tego samego rodzaju i znalazłem wspomniane rozwiązanie, które okazało się satysfakcjonujące tylko wtedy, gdy masz liczby mieszczące się w określonej formacji. Na przykład, jeśli chcesz zakodować jednym kodem, ta lista:

all_good_list = [0,1,2,3,4]

śmiało, opublikowane rozwiązania są już wspomniane powyżej. Ale co jeśli rozważymy te dane:

problematic_list = [0,23,12,89,10]

Jeśli zrobisz to za pomocą metod wymienionych powyżej, prawdopodobnie uzyskasz 90 pojedynczych kolumn. Jest tak, ponieważ wszystkie odpowiedzi zawierają coś podobnego n = np.max(a)+1. Znalazłem bardziej ogólne rozwiązanie, które mi się przydało i chciałem się z Tobą podzielić:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

Mam nadzieję, że ktoś napotkał takie same ograniczenia na powyższe rozwiązania i może się to przydać


1

Tego rodzaju kodowanie jest zwykle częścią tablicy numpy. Jeśli używasz tablicy numpy takiej jak ta:

a = np.array([1,0,3])

to jest bardzo prosty sposób przekonwertować to na kodowanie 1-hot

out = (np.arange(4) == a[:,None]).astype(np.float32)

Otóż ​​to.


1
  • p będzie 2d ndarray.
  • Chcemy wiedzieć, która wartość jest najwyższa z rzędu, aby umieścić tam 1 i wszędzie indziej 0.

czyste i łatwe rozwiązanie:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)

1

Za pomocą kroku rurociągu Neuraxle :

  1. Skonfiguruj swój przykład
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. Dokonaj faktycznej konwersji
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. Zapewnij, że to działa
assert b_pred == b

Link do dokumentacji: neuraxle.steps.numpy.OneHotEncoder


0

Oto przykładowa funkcja, którą napisałem, aby to zrobić na podstawie powyższych odpowiedzi i własnego przypadku użycia:

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

Dodaję do zakończenia prostą funkcję, używając tylko operatorów numpy:

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

Jako dane wejściowe przyjmuje macierz prawdopodobieństwa: np .:

[[0,03038822 0,65810204 0,16549407 0,37797123] ... [0,02771272 0,2760752 0,3280924 0,33458805]]

I wróci

[[0 1 0 0] ... [0 0 0 1]]


0

Oto niezależne od wymiarów niezależne rozwiązanie.

Spowoduje to przekształcenie dowolnej N-wymiarowej tablicy arrliczb całkowitych nieujemnych w jedno-gorącą tablicę N + 1-wymiarową one_hot, o ile one_hot[i_1,...,i_N,c] = 1to możliwe arr[i_1,...,i_N] = c. Możesz odzyskać dane wejściowe za pośrednictwemnp.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

Użyj następującego kodu. Działa najlepiej.

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

Znaleziono tutaj PS Nie musisz wchodzić w link.


5
Powinieneś unikać używania pętli z numpy
Kenan
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.