Jak zmieniają się IOPS pamięci masowej w zależności od pojemności dysku?

Wszystkie inne rzeczy są równe, jak zmieniłaby się wydajność IOPS macierzy pamięci, gdyby zastosowano większe dyski.

Na przykład weź tablicę z 10 dyskami X 100 GB.

Zmierz IOPS dla sekwencyjnych zapisów blokowych 256kb (lub dowolnych metryk IOPS)

Załóżmy, że wynikowy zmierzony IOPS wynosi 1000 IOPS.

Zmień tablicę na jedną z 10 dyskami o pojemności 200 GB. Formatuj przy użyciu tej samej konfiguracji RAID, tego samego rozmiaru bloku itp.

Czy można oczekiwać, że IOPS pozostaną takie same, wzrosną lub spadną? Czy zmiana byłaby z grubsza liniowa? tzn. zwiększ o 2X lub zmniejsz o 2X (ponieważ zwiększyłem pojemność dysku o 2X)

Powtórz te pytania z 10 dyskami 50 x 50 GB.

Edycja: więcej kontekstu

To pytanie powstało jako rozmowa między moim zespołem Sysadmin, który nie jest dobrze zorientowany w zakresie przechowywania wszystkich rzeczy. (Wygodne z wieloma aspektami przechowywania, ale bez szczegółów zarządzania siecią SAN lub czymkolwiek). Otrzymujemy wielki stos nowych tac Netapp, które mają większą pojemność na dysk - podwójną pojemność - niż nasze istniejące tace. Pojawił się komentarz, że IOPS nowych tac będzie niższy tylko dlatego, że dyski były większe. Potem pojawiła się analogia samochodowa, aby to wyjaśnić. Żaden komentarz nie pasował do mnie dobrze, więc chciałem go przekazać Zespołowi, tj. Stack-Exchange-land.

Analogia samochodu dotyczyła dwóch samochodów o różnym przyspieszeniu, tej samej prędkości maksymalnej i biegu ćwierć mili. Następnie zmień odległość na pół mili. Właściwie nie pamiętam dokładnej analogii, ale odkąd znalazłem inną w interwebz, która była podobna, doszedłem do wniosku, że była to prawdopodobnie powszechna analogia IOPS.

W pewnym sensie faktyczna odpowiedź na pytanie nie ma dla mnie większego znaczenia, ponieważ nie używamy tych informacji do oceny zakupu. Musimy jednak ocenić najlepszy sposób przymocowania tac do istniejącej głowicy i najlepszy sposób wyrywania agregatów i objętości.

Aby odpowiedzieć bezpośrednio na twoje pytanie - wszystkie inne rzeczy są równe = bez zmian w przypadku zmian GB.

Nie mierzysz IOPS za pomocą GB. Wykorzystujesz czas wyszukiwania i opóźnienie.

Mógłbym przepisać to wszystko tutaj, ale poniższe przykłady robią to wszystko już i po prostu to powtarzam:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html

Wiem, że to prawdopodobnie hipotetyczne pytanie ... Ale świat IT tak naprawdę nie działa w ten sposób. Należy wziąć pod uwagę realistyczne ograniczenia, a także inne rzeczy, które mogą wpłynąć na IOPS ...

• Dyski 50 GB i 100 GB tak naprawdę już nie istnieją. Pomyśl więcej: 72, 146, 300, 450, 600, 900, 1200 GB na dyskach dla przedsiębiorstw i 500, 1000, 2000, 3000, 4000, 6000 GB na nośnikach pamięci masowej nearline / midline.

• W nowoczesnej pamięci masowej jest tak dużo abstrakcji; buforowanie dysku, buforowanie kontrolera, odciążanie dysku SSD itp., że wszelkie różnice byłyby trudne do zauważenia.

• Masz do rozważenia różne czynniki kształtu napędu, interfejsy i prędkości obrotowe. Dyski SATA mają inny profil wydajności niż SAS lub nearline SAS . Dyski 7200 RPM zachowują się inaczej niż 10 000 RPM lub 15 000 RPM. Dostępność różnych prędkości obrotowych jest ograniczona do niektórych wydajności.

• Układ kontrolera fizycznego. Ekspandery SAS, kontrolery RAID / SAS mogą wpływać na IOPS, w zależności od układu dysku, szybkości nadsubskrypcji, niezależnie od tego, czy łączność jest wewnętrzna z serwerem, czy w zewnętrznej obudowie. Duża liczba dysków SATA działa słabo na ekspanderach i podczas wystąpienia błędów napędu .

• Na niektóre z nich może mieć wpływ fragmentacja, wykorzystywana pojemność macierzy dyskowej.

• Słyszałeś kiedyś o krótkim głaskaniu ?

• Oprogramowanie kontra sprzętowa macierz RAID, pobieranie wstępne, profilowanie adaptacyjne ...

Co sprawia, że ​​uważasz, że pojemność miałaby przede wszystkim wpływ na wydajność? Czy możesz podać więcej kontekstu?

Edytować:

Jeśli typ dysku, współczynnik kształtu, interfejs i wykorzystana pojemność są takie same, nie powinno być znaczącej różnicy w IOPS. Załóżmy, że przechodzisz z 300 GB na 600 GB korporacyjnych dysków SAS 10k. Przy tej samej liczbie wrzecion nie powinno być żadnej różnicy w wydajności ...

Jeśli jednak wspomniane półki dyskowe NetApp wykorzystują płyty główne SAS 6 Gb / s lub 12 Gb / s w porównaniu ze starszymi 3Gb / s, możesz zauważyć zmianę przepustowości w przejściu na nowszy sprzęt.

Jedno miejsce, gdzie nie ma bezpośredniego związku między wielkością dysku i IOPS jest w Amazon AWS chmurze i innych „pochmurnych usług”. Dwa typy usług AWS ( Elastic Block Store i Relational Database Service ) zapewniają wyższe IOPS dla większych rozmiarów dysków.

Pamiętaj, że jest to sztuczne ograniczenie nakładane przez Amazon na ich usługi. Nie ma żadnego powodu związanego ze sprzętem. Jednak widziałem typy deweloperów, którzy nie są zaznajomieni z niezwirtualizowanym sprzętem, wierząc, że to ograniczenie jest odpowiednie również dla systemów stacjonarnych i tym podobnych. Relacja rozmiaru dysku / IOPS jest ograniczeniem marketingu w chmurze, a nie ograniczeniem sprzętowym.

Powinienem zwrócić uwagę, że IOPS nie są świetnym pomiarem prędkości w sekwencyjnych zapisach, ale po prostu idźmy z tym.

Podejrzewam, że czasy wyszukiwania i zapisu głowic dysków są dość spójne, pomimo wielkości dysków. 20 lat temu wszyscy używamy dysków o pojemności 60 GB z (w przybliżeniu - z pewnością nie liniowo) taką samą prędkością odczytu / zapisu.

Zgaduję, że jestem wykształcony, ale nie sądzę, że gęstość dysku odnosi się liniowo do jego wydajności.

Na przykład weź tablicę z 10 dyskami X 100 GB.

Zmierz IOPS dla sekwencyjnych zapisów blokowych 256kb (lub dowolnych metryk IOPS)

Załóżmy, że wynikowy zmierzony IOPS wynosi 1000 IOPS.

dobrze

Zmień tablicę na jedną z 10 dyskami o pojemności 200 GB. Formatuj przy użyciu tej samej konfiguracji RAID, tego samego rozmiaru bloku itp.

Czy można oczekiwać, że IOPS pozostaną takie same, wzrosną lub spadną?

Prawdopodobnie pozostaną mniej więcej równorzędne.

Czy zmiana byłaby z grubsza liniowa?

Historia spinningowych mediów mówi mi, że prawdopodobnie nie ma związku.

Powtórz te pytania z 10 dyskami 50 x 50 GB

Znów mniej więcej równoważne.

Twoja prędkość we wszystkich tych przypadkach wynika z faktu, że RAID działa jak jeden dysk z dziesięcioma głowicami zapisu, dzięki czemu możesz wysłać 1/10 pracy równolegle do każdego dysku.

Chociaż nie mam twardych liczb do pokazania, moje wcześniejsze doświadczenia mówią mi, że zwiększenie wydajności dysków nie jest tak proste, jak zwiększenie pojemności.

Wbrew temu, co ludzie marketingu powiedzieć, to innowacja, przed rozpoczęciem tanie (er) dyski SSD nie zostało niewiele znaczący rozwój w wykonywaniu przędzenia media w ciągu ostatnich 20 lat, prawdopodobnie tam tylko tak wiele można wydostać się z rdzą i tylko tak szybko, że możemy pobrać nasze obecne modele głowic dyskowych.

Wydajność dodana do skal pamięci przy każdym dodanym wrzecionie. Największym czynnikiem jest prędkość obrotowa napędu, więc dodanie napędu o prędkości 10 000 obr./min zapewni większą wydajność (pod względem liczby operacji we / wy w losowych operacjach we / wy lub MB / sw strumieniowych we / wy) niż w przypadku napędu o prędkości 7,2 tys. Rozmiar dysku praktycznie nie ma wpływu.

Ludzie mówią, że małe dyski idą szybciej po prostu dlatego, że potrzebujesz więcej wrzecion na użyteczną TB. Zwiększenie rozmiaru napędu tych wrzecion nie obniży wydajności, ale pozwoli na zmieszczenie większej ilości danych na dyskach, co może skutkować zwiększonym obciążeniem.

Jeśli założymy, że wszystko inne jest równe, parametry wydajności dysków o większej pojemności nie zmieniają się bardzo. Dysk FC o prędkości 10 000 obr./min ma bardzo podobne właściwości, niezależnie od tego, czy ma pojemność 300 GB, czy 3 TB. Talerze obracają się z tą samą prędkością, a głowice szukają z tą samą prędkością.

Podobnie trwała przepustowość - niewielka różnica. Jest to przyczyną wielu problemów z wydajnością, ponieważ w wielu przypadkach ludzie kupują terabajty, nie kupują procesorów IOP ani MB / s.

I odbudowanie / skopiowanie dysku o pojemności 3 TB potrwa 10 razy dłużej niż 300 GB.

W rezultacie musieliśmy przyjrzeć się znacznej nadwyżce pojemności projektów pamięci masowej - rozmiary dysków wciąż rosną, ale ich możliwości wydajnościowe nie są duże. W co najmniej jednym przypadku kupiliśmy około 400 TB przestrzeni dyskowej, aby spełnić wymagania 100 TB, ponieważ potrzebujemy wrzecion.

Jeśli obracasz dyski (nie SSD), to wszystko inne jest równe, prędkość transferu jest wyższa, jeśli używasz zewnętrznych ścieżek dysku. Stanie się tak automatycznie, jeśli użyjesz dysku, który jest tylko częściowo wypełniony. Jednocześnie, jeśli dysk jest tylko częściowo zapełniony, średni ruch głowy będzie mniejszy, a liczba ruchów głowy będzie mniejsza, ponieważ na ścieżce jest więcej danych.

Dotyczy to zarówno pojedynczego dysku, jak i dysku RAID.

Teraz, jeśli porównujesz dyski 100 GB i 2000 GB, możesz być pewien, że wszystko inne nie jest równe. Ale jeśli ten sam producent oferuje dyski 500 GB, 1 TB, 1,5 TB i 2 TB z jednym, dwoma, trzema i czterema talerzami, wówczas wszystko inne prawdopodobnie będzie równe, a 10 x 500 GB będzie wolniejsze niż 10 x 2 TB do przechowywania 4 TB danych (nie będzie różnicy, jeśli przechowujesz tylko 100 GB, ponieważ dyski 500 GB również będą prawie puste).

Ale w przypadku dysków RAID nie będziesz tak bardzo ograniczony szybkością przesyłania, ale opóźnieniem obrotowym. Dlatego wyższa prędkość obrotowa będzie ważniejsza. I często znajdziesz wyższe RPM wraz z niższą pojemnością. Z drugiej strony, jeśli wybierzesz wysoką prędkość obrotową / niską pojemność, możesz również spojrzeć na dyski SSD.