Migruję część bazy danych mysql do AWS. Dane, o których mowa, to 99% zapisu, a każdy wiersz zawiera około 1 000 pól varchar, datę i godzinę i 4 wartości int.
Szacuję, że w godzinach szczytu będziemy potrzebować od 20 do 25 000 zapisów na godzinę.
Uruchomiłem iostat -h na bieżącej bazie danych, która zgłosiła około 40 tps.
Jak dowiedzieć się, jakiego rodzaju IOPS będę potrzebować?
Odpowiedzi:
Musisz to przetestować.
Możesz wykonać obliczenia koperty z powrotem, aby oszacować liczbę operacji we / wy na wkładkę, pomnożyć ją przez liczbę transakcji na sekundę, dodać w buforze itp., Ale o wiele łatwiej jest po prostu ją przetestować.
Najłatwiej jest przydzielić najlepszą odpowiedź, a następnie wrócić i zwiększyć lub zmniejszyć, aby dopasować ją do rzeczywistych testów. Jest to jeden z luksusów używania środowiska opartego na chmurze, zmiany sprzętowe mają niskie koszty inwestycyjne i takie zmiany zwykle wymagają jedynie aktualizacji konfiguracji. W przypadku woluminów EBS nie można po prostu zwiększyć liczby IOPS, trzeba też zwiększyć rozmiar wolumenu 1 . Zawsze możesz po prostu utworzyć nowy wolumin i skopiować dane. Nastąpi pewien czas przestoju, ale jeśli twoje dane nie są ogromne, nie powinno być dużo, ponieważ byłoby surową kopią.
Oto przypuszczenie liczby niezbędnych operacji we / wy. Znów jest to tylko przypuszczenie, ponieważ szczegóły zależą od liczby indeksów i tego, czy ruch będzie płynny, czy gwałtowny. Przy 25 tys. Tx / godz. Masz ~ 7 tx / sek. Rozmiar każdego wiersza nie jest szczególnie istotny, ponieważ jest mniejszy niż rozmiar pojedynczego we / wy (4K). Każda transakcja wykona gdzieś pomiędzy 1-5 IOP (podstawowa wstawka plus kilka wstawek drzewa indeksowego), więc powiedzmy ~ 35 / s.
Mówię, że zacznij od minimum 100 IOPS i w razie potrzeby zwiększ skalę.
Użyłem podstawowego narzędzia iostat (iostat -h), aby dowiedzieć się, ile iopsów aktualnie używałem. Z tego ekstrapolowałem, ile użyłbym, gdybym był mniej niż 4 razy większy niż ładunek i poszedłem z tą ilością. Dla mnie to zadziałało do 780 IOPS, więc wybrałem 800 IOPS.
Może to pomóc w monitorowaniu IOPS: