Jaki jest najlepszy sposób obliczenia dekompozycji wartości pojedynczej (SVD) bardzo dużej macierzy dodatniej (65 M x 3,4 M), w której dane są bardzo rzadkie?
Mniej niż 0,1% matrycy jest niezerowe. Potrzebuję sposobu, który:
- zmieści się w pamięci (wiem, że istnieją metody online)
- zostaną obliczone w rozsądnym czasie: 3,4 dni
- będą wystarczająco dokładne, jednak dokładność nie jest moim głównym zmartwieniem i chciałbym móc kontrolować, ile zasobów w to włożę.
Byłoby wspaniale mieć bibliotekę Haskell, Python, C # itp., Która ją implementuje. Nie używam mathlaba ani R, ale w razie potrzeby mogę użyć R.
3
Ile masz pamięci? 0,1% z 65 mln * 3,4 mln to wciąż niezerowe wartości 221e9. Jeśli używasz 4 bajtów na wartość, to wciąż więcej niż 55 GB przy założeniu braku obciążenia, więc rzadkość nadal nie rozwiązuje problemu ... Czy musisz załadować cały zestaw na raz?
—
Bitwise
Powinienem był być bardziej precyzyjny. Nie więcej niż 250-500 MB z 32-bitową liczbą całkowitą. Prawdopodobnie znacznie mniej, ale wymiar jest problemem, jak go rozumiem. Mam maszynę 16 GB.
—
Sonia
Co powiesz na to? quora.com/…
—
Bitwise
Ta strona prowadzi do biblioteki Pythona, która implementuje „szybki, przyrostowy algorytm SVD o małej pamięci i dużej matrycy”: en.wikipedia.org/wiki/Latent_semantic_analysis
—
Bitwise
Zobacz także stats.stackexchange.com/questions/2806 .
—
ameba mówi Przywróć Monikę