Wyjaśnię mój problem na przykładzie. Załóżmy, że chcesz przewidzieć dochód danej osoby na podstawie niektórych atrybutów: {Wiek, płeć, kraj, region, miasto}. Masz taki zestaw danych szkoleniowych
train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3),
RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5),
CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8),
Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50),
Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")),
Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23))
train
CountryID RegionID CityID Age Gender Income
1 1 1 1 23 M 31
2 1 1 1 48 F 42
3 1 1 2 62 M 71
4 1 2 3 63 F 65
5 2 3 4 25 M 50
6 2 3 5 41 F 51
7 2 4 6 45 M 101
8 2 4 6 19 F 38
9 3 5 7 37 F 47
10 3 5 7 41 F 50
11 3 5 7 31 F 55
12 3 5 8 50 M 23
Załóżmy teraz, że chcę przewidzieć dochód nowej osoby, która mieszka w mieście 7. Mój zestaw treningowy zawiera aż 3 próbki z ludźmi w mieście 7 (zakładam, że to dużo), więc prawdopodobnie mogę wykorzystać średni dochód w mieście 7, aby przewidzieć dochód tej nowej osoby.
Załóżmy teraz, że chcę przewidzieć dochód nowej osoby, która mieszka w mieście 2. Mój zestaw treningowy zawiera tylko 1 próbkę z miastem 2, więc średni dochód w mieście 2 prawdopodobnie nie jest wiarygodnym prognostykiem. Ale prawdopodobnie mogę wykorzystać średni dochód w Regionie 1.
Ekstrapolując nieco ten pomysł, mogę przekształcić mój zbiór danych szkoleniowych jako
Age Gender CountrySamples CountryIncome RegionSamples RegionIncome CitySamples CityIncome
1: 23 M 4 52.25 3 48.00 2 36.5000
2: 48 F 4 52.25 3 48.00 2 36.5000
3: 62 M 4 52.25 3 48.00 1 71.0000
4: 63 F 4 52.25 1 65.00 1 65.0000
5: 25 M 4 60.00 2 50.50 1 50.0000
6: 41 F 4 60.00 2 50.50 1 51.0000
7: 45 M 4 60.00 2 69.50 2 69.5000
8: 19 F 4 60.00 2 69.50 2 69.5000
9: 37 F 4 43.75 4 43.75 3 50.6667
10: 41 F 4 43.75 4 43.75 3 50.6667
11: 31 F 4 43.75 4 43.75 3 50.6667
12: 50 M 4 43.75 4 43.75 1 23.0000
Dlatego celem jest połączenie średnich wartości CityIncome, RegionIncome i CountryIncome przy użyciu liczby próbek treningowych dla każdej z nich, aby nadać wagę / wiarygodność każdej wartości. (Najlepiej, w tym informacje o wieku i płci).
Jakie są wskazówki dotyczące rozwiązania tego rodzaju problemu? Wolę korzystać z modeli opartych na drzewach, takich jak losowe zwiększanie lasu lub gradientu, ale mam problem z uzyskaniem ich dobrej wydajności.
AKTUALIZACJA
Dla każdego, kto chce rozwiązać ten problem, wygenerowałem przykładowe dane, aby przetestować proponowane rozwiązanie tutaj .