Pracuję nad obliczeniem „tylnej części koperty” dla konfiguracji bazy danych raportowania 100 TB. Szukam tutaj myśli od ekspertów. Proponowane środowisko:
- Pojemność ~ 100 TB
- Tabele ~ 200, rozmiary od 1 GB do 5 TB. średni rozmiar może wynosić od 100 GB do 200 GB
- ETL - zadania mogą wymagać łączenia tabel 10-milionowych wierszy, z kluczami łączenia od 10 bajtów do 500 bajtów. takie dołączenia powinny zakończyć się w niecałe 2-5 minut
- Wybór na żywo - początkowo zainteresowany tylko wybranymi prędkościami. powinien obsługiwać 500 selekcji / sekundę. Aktualizacje / sekunda będą relatywnie znacznie mniejsze i można je zignorować w tym ćwiczeniu.
- potrzebujesz dostępności 24x7. Powinny być dostępne 2 niezależne serwery DB do obsługi wybranych połączeń (z replikowanymi danymi).
Pytania:
- Obecnie patrzę na Oracle. Jakie są Twoje doświadczenia z innymi komercyjnymi (lub) rozwiązaniami typu open source dla dużych baz danych?
- Jaki system operacyjny widziałeś najlepiej? Planuję Linux na Dell.
- Czy pamięć sieciowa, taka jak NetApp, jest koniecznością? Jakie problemy przewidujesz przy użyciu komercyjnych dysków z półki?
- Gdy sprzęt i system operacyjny będą gotowe, ile czasu poświęcisz na konfigurację, konfigurację bazy danych, pamięci itp.
- Jakie kompozycje zespołów najlepiej sprawdzały się w obserwowanych środowiskach? Mam na myśli różnych administratorów (administrator systemu operacyjnego, administrator bazy danych Oracle?) Wymaganych do zarządzania i obsługi takiej konfiguracji. Ile z nich może być potrzebnych do osiągnięcia nieprzerwanego działania 24x7.
- Wszelkie przybliżenia / zakres na licencjach DB, koszty pamięci sieciowej.
Wiem, że nie mam wszystkich szczegółów środowiska. Nie szukam dokładnych szczegółów, wystarczy przybliżenie. Chociaż menedżerowie najlepiej odpowiedzą na niektóre pytania, interesuje mnie perspektywa administratorów. Doceniam twój wkład.
1
Myślę, że to pytanie jest zbyt szerokie, aby można było na nie odpowiedzieć. Pozwolę innym zobaczyć, czy się zgodzą, zanim pójdę dalej.
—
Philᵀᴹ
@Phil Zgadzam się, nie byłem pewien, czy należy to podzielić na wiele pytań, aby użytkownicy z różną wiedzą specjalistyczną mogli odpowiedzieć na różne części. Ale opis środowiska jest taki sam dla wszystkich pytań, więc zadałem jedno pytanie. Myślę, że może to być moje pierwsze pytanie dotyczące SO (choć zwykły użytkownik SO), więc uważaj mnie za początkującego i jeśli istnieje lepszy sposób na postawienie tego pytania, proszę o sugestię.
—
Kash
To brzmi jak wielomilionowy projekt. Czy oparłbyś taki projekt na poradach forum?
—
Remus Rusanu,
@RemusRusanu To nie jest jedyne źródło informacji. Gdy przejdzie do etapu oceny formalnej, będzie wiele innych działań. Mam wysoką opinię na temat porad udzielanych przez użytkowników SO. Pisząc pytanie, byłem pewien, że znajdę kilka bardzo przydatnych szczegółów, o których w ogóle nie myślałem.
—
Kash
@RemusRusanu - tak jest. Ostatnia cena, jaką widziałem dla Netezza, to 20 tys. USD / TB dla systemów TwinFin. Nie jestem pewien, do czego zmieściłoby się pudełko Exadata o takiej pojemności. Ponadto SLA jest dość agresywna, a system wygląda na to, że ma dużą bazę użytkowników. Może potrzebować większej liczby serwerów mart data do obsługi obciążenia zapytania.
—
ConcernedOfTunbridgeWells