Ostatnie tygodnie spędziliśmy na bardzo ciekawych testach – otrzymaliśmy od firmy Kingston cztery dyski U.2 NVMe PCIe, które postanowiliśmy przetestować w nowym modelu QNAP – TS-h2490FU, który został stworzony z myślą o wydajnej pracy, między innymi poprzez możliwość zamontowania aż 24 dysków U.2. Zobaczmy więc, jak wyglądają możliwości dysków Kingston DC1500M.
Dyski firmy Kingston, które są oznaczane jako DC tworzone są z myślą o zastosowaniach w wymagających środowiskach data center. Dzięki swojej konstrukcji mogą pracować pod dużym obciążeniem oferując wysoką wydajność i trwałość. W naszym laboratorium mieliśmy już okazję sprawdzać dyski serii DC – dyski SATA SSD DC500M, które pokazały, że przeznaczenie do pracy w data center jest nie tylko z nazwy, ale faktycznie ich możliwości są zgodne z deklaracjami producenta. Czy i tym razem tak będzie? Sprawdzimy w całej serii różnorodnych testów. Jednak na tym etapie należy zauważyć jeden problem, który będzie często widoczny w wynikach testów – wydajność samych dysków zaczyna przewyższać możliwości typowych sieci ethernet. I nie chodzi tutaj już nawet o sieci 1GbE czy 2,5GbE, ale o 10GbE, które od dłuższego czasu stosowane są jako standard. Dlatego w przypadku testów Kingston DC1500M zdecydowaliśmy się skorzystać z urządzenia QNAP TS-h2490FU, które fabrycznie wyposażone jest w dwuportową kartę 25GbE. Podczas testów sprawdziliśmy zachowanie takiego połączenia jak i możliwość łączenia interfejsów.
Zacznijmy jednak od samych dysków i ich specyfikacji. Dyski Kingston DC1500M oferują szereg udoskonaleń względem poprzedniego modelu, DC1000M. Przykładowo, nowe modele wykorzystują nowy 16- kanałowy kontroler SMI2277 (który obsługuje wiele niezależnych kolejek I/O dla różnych przestrzeni nazw). Oprogramowanie hosta może to wykorzystać do różnych celów, np. podział logiczny, podział ze względów bezpieczeństwa (szyfrowanie), overprovisioning etc. Dysk DC1500M obsługuje do 64 niezależnych przestrzeni nazw. Dyski kierowane są do różnych zastosowań, wymagających szybkich przestrzeni dyskowych oferujących wysoką liczbę IOPS. Według producenta, dyski znajdą zastosowanie:
W poniższej tabeli widoczne są parametry techniczne dysków z serii DC1500M. W naszym przypadku, testujemy dyski o pojemności 960GB, dlatego w tabeli zostały oznaczone na zielono.
| Format | U.2, 2.5” x 15mm |
| Interfejs | PCIe NVMe Gen3 x4 |
| Pojemności | 960GB, 1.92TB, 3.84TB, 7.68TB |
| NAND | 3D TLC |
| Sekwencyjny odczyt/zapis | 960GB – 3,100 / 1,700MB/s 1.92TB – 3,300/2,700MB/s 3.84TB – 3,100/2,700MB/s 7.68TB – 3,100/2,700MB/s |
| Odczyt/zapis 4K w stanie gotowości | 960GB – 440,000/150,000 IOPS 1.92TB – 510,000/220,000 IOPS 3.84TB – 480,000/210,000 IOPS 7.68TB – 420,000/200,000 IOPS |
| Opóźnienie (QoS) | 99.9 – odczyt/zapis: <110 µs / <206 µs |
| Statyczny i dynamiczny wear levelling | Tak |
| Ochrona przed utratą zasilania (power caps) | Tak |
| Obsługa zarządzania przestrzeniami nazw | Tak – obsługiwane 64 przestrzenie nazw |
| Zaawansowana diagnostyka | Telemetria, poziom zużycia, temperatura, logi temperatury i stanu, etc. |
| Wytrzymałość | 960GB – 1681 TBW6 (1 DWPD/5yrs)6 (1.6 DWPD/3yrs)6 1.92TB – 3362 TBW6 (1 DWPD/5yrs)6 (1.6 DWPD/3yrs)6 3.84TB – 6725 TBW6 (1 DWPD/5yrs)6 (1.6 DWPD/3yrs)6 7.68TB – 13450 TBW6 (1 DWPD/5yrs)6 (1.6 DWPD/3yrs)6 |
| Zużycie energii | 960GB – Idle: 6.30W Średnio odczyt: 6.21W Średnio zapis: 11.40W Max odczyt: 6.60W Max zapis: 12.24W 1.92TB – Idle: 6.60W Średnio odczyt: 6.30W Średnio zapis: 13.7W Max odczyt: 6.63W Max zapis: 15.36W 3.84TB – Idle: 6.8W Średnio odczyt: 6.40W Średnio zapis: 14.20W Max odczyt: 7W Max zapis: 16W 7.68TB – Idle: 7W Średnio odczyt: 7.30W Średnio zapis: 17.14W Max odczyt: 8.16W Max zapis: 20.88W |
| Temperatury pracy | 0°C ~ 70°C |
| Wymiary | 100.09mm x 69.84mm x 14.75mm |
| Waga | 960GB – 145g 1.92TB – 150g 3.84TB – 155g 7.68TB – 160g |
| Dopuszczalne wibracje podczas pracy | 2.17G szczytowo (7–800Hz) |
| Dopuszczalne wibracje w stanie spoczynku | 20G szczytowo (10–2000Hz) |
| MTBF | 2 miliony godzin |
| Gwarancja/wsparcie | Limitowana, 5-letnia gwarancja z darmowym wsparciem technicznym |
Jak widać, dla testowanych przez nas dysków maksymalny deklarowany odczyt to 3100 MB/s a zapis 1700 MB/s sekwencyjnie. Sprawdzimy, jakie faktyczne wyniki uzyskamy w pracy z tymi dyskami.
Z punktu widzenia testów duże znaczenie będzie miała konfiguracja całego środowiska. Jak już wcześniej zaznaczyłem, dyski Kingston DC1500M to dyski NVMe PCIe w obudowie U.2. Z punktu widzenia technologii, dyski takie potrafią pracować z wysoką przepustowością (kilku GB na sekundę). Jednak problemem byłoby łącze SATA oferujące maksimum 6Gbit, czyli teoretycznie 700MB/s, a faktycznie w okolicach 550MB/s. Dyski U.2 pozwalają na uzyskanie teoretycznej przepustowości ok. 4GB/s dzięki czterem liniom sygnałowym PCIe Gen3. Oczywiście można na tym etapie zestawić te dyski również z najbliższą im wersją – czyli dyskami M.2, które już teraz dostępne są w wersjach oferujących wyższe prędkości. Jednak porównując te dwa typy dysków, warto też zwrócić uwagę na wygodę użytkowania. Główną różnicą wynikającą z konstrukcji jest obsługa przez dyski U.2 trybu hot plug, co czyni je dużo prostszymi i szybszymi do wymiany w przypadku uszkodzenia.
Dyski Kingston DC1500M U.2 mają bardzo solidną budowę, która sugeruje przygotowanie dysków do wymagającej pracy.Dodatkowo w urządzeniu tym zamontowany dysk twardy WD Blue SSD 480GB pracujący jako dysk systemowy.
Metalowa obudowa pozwala również lepiej odprowadzać ciepło modułów pamięci.
Środowisko testowe
Dyski w obudowie U.2 mieliśmy już okazję testować wcześniej – były to WD Gold SN600. Jednak w przypadku tamtego testu do dyspozycji mieliśmy tylko dwa takie dyski, co z kolei ograniczyło możliwości testowania ich pracy w RAID 5 czy RAID 10. Na potrzeby tego testu wystarczył nam model TS-h973AX, który jest wyposażony w dwie zatoki combo – 2x U.2/SATA. Chcąc przetestować większą liczbę dysków wybraliśmy stosunkowo nowy model QNAP – TS-h2490FU-7232P-64G.
QNAP TS-h2490FU:
Procesor: AMD EPYC™ 7232P 8-rdzeni/16-wątków, do 3.2 GHz
Pamięć systemowa: 64 GB RDIMM DDR4 ECC (8 x 8 GB)
Wnęki dysków: 24 2,5-calowe dyski SSD U.2 NVMe Gen 3 x4
Port LAN: 2×2,5GbE zgodne z 1GbE/100MbE/10MbE
Port 25GbE: 2 porty 25GbE SFP28 SmartNIC
Pełna specyfikacja sprzętowa dostępna tutaj: https://www.qnap.com/pl-pl/product/ts-h2490fu/specs/hardware
Urządzenie działa pod kontrolą nowego systemu operacyjnego QNAP QTS 5.0. Ponieważ testujemy dyski SSD, korzystamy z systemu QTS (a nie fabrycznie preinstalowanego QuTS hero), który oferuje Narzędzie Profilowania Dysków SSD. Z punktu widzenia naszych testów narzędzie to jest bardzo ważne, ponieważ pokazuje zachowanie dysków w czasie pod ciągłym obciążeniem. Bardzo istotne jest również to, że system QTS jest oficjalnie obsługiwany w tym modelu, a więc na etapie inicjowania możliwa jest zmiana systemu. Wybór systemu QTS podyktowany jest też chęcią zestawienia uzyskiwanych wyników z tymi pochodzącymi z wcześniejszych testów.
Zmienił się również serwer testujący. Wcześniej korzystaliśmy z modelu TVS-672X, natomiast teraz skorzystamy z naszego zwyczajowego QNAP, do którego wcześniej montowaliśmy dyski, czyli TS-983XU.
Konfiguracja serwera testującego:
Procesor: Czterordzeniowy procesor Intel® Xeon® E-2124 o taktowaniu 3,3 GHz (zwiększanym do 4,3 GHz)
Pamięć systemowa: 40GB UDIMM DDR4 ECC (2 x 4GB + 2 x 16GB)
Wnęki dysków: 4 zatoki 3,5-calowe + 5 zatok 2,5-calowych SATA 6 Gb/s, 3 Gb/s
Gniazdo PCIe: PCIe Gen 3 x16
Sieć GbE: 2 porty 1GbE, zgodne z 100M/10M
Sieć 10GbE: 2 porty SFP+ Smart NIC
Sieć 25GbE: dwuportowa karta QXG-25G2SF-CX6 – podłączona do portu PCIe Gen 3 x16
Dodatkowo w urządzeniu tym zamontowany został dysk twardy WD Blue SSD 480GB pracujący jako dysk systemowy. Z punktu widzenia wykonywanych testów, dysk ten nie ma znaczenia, dlatego traktowany jest jako dysk systemowy.
Wszystkie benchmarki, którym poddajemy testowane dyski staramy się przeprowadzać w podobnym środowisku i przy podobnej konfiguracji. Ze względu na typ dysków i rodzaj połączeń, mogą być wprowadzane pewne zmiany mające na celu dopasować test do dysku w celu uzyskania jak najlepszych wyników.
Do testów otrzymaliśmy cztery dyski Kingston DC1500M, dlatego sprawdzimy ich działanie w trzech konfiguracjach RAID – RAID 0, RAID 5 i RAID 10. Niezależnie od poziomu RAID, konfiguracja na poziomie logicznym będzie podobna:
Połączenie sieciowe:
Serwer testujący podłączony jest do sieci LAN za pomocą dwóch przewodów DAC SFP+ 10GbE. Połączenie z QNAP jest bezpośrednie, realizowane za pomocą dwóch przewodów DAC 25GbE. QNAP oprócz połączenia bezpośredniego z serwerem, podłączony jest również do sieci LAN przy użyciu dwóch wbudowanych portów 2,5GbE (przewody LAN RJ-45 Cat. 6a). Połączenia sieci LAN zbiegają się w centralnym punkcie naszego LAB, czyli w przełączniku QNAP QSW-M408-4C i podłączone są do portów 10GbE.
Testy wykonano przy użyciu:
Standardowo testy zaczynamy od sprawdzenia, jak sam QNAP jest w stanie wykorzystać podłączone dyski. Korzystamy z wbudowanych narzędzi w aplikację Pamięć Masowa i Migawki w systemie QTS (w tych testach po raz pierwszy korzystamy z nowego systemu z QTS 5.0). System jest w stanie sprawdzić prędkość odczytu sekwencyjnego oraz IOPS takiego odczytu. Po wykonaniu testu zobaczyliśmy następujące wyniki:
I tutaj pojawia się spore, ale bardzo miłe zaskoczenie! Według specyfikacji producenta, firmy Kingston, dyski DC1500M oferują przepustowość odczytu sekwencyjnego na poziomie 3100 MB/s. Jednak QNAP podczas wykonanego testu ocenił maksymalną prędkość na 3,42 GB/s, więc znacząco więcej. Oczywiście bierzemy pod uwagę specyfikę hermetycznych testów, która może na tym etapie zaburzać oczekiwania co do przyszłych wyników, jednak zaczynamy testy dysków z wielkim entuzjazmem po zobaczeniu takich wartości.
Ważne jest też to, że wszystkie dyski wykazały dokładnie taką samą prędkość. Różnice widzimy tylko w przypadku odczytu sekwencyjnego IOPS. Jednak całość oscyluje w okolicach 252 501 IOPS.
Kolejny test w QTS to test profilowania dysków SSD, który wykonujemy dzięki aplikacji dostępnej dla systemu QTS. Podczas profilowania dysków, aplikacja je formatuje, po czym przygotowuje do testów zapisu aby zweryfikować, jak dyski zachowają się w długim okresie czasu.
Przypomnijmy, czym jest Write Amplification. W sytuacji, gdy na dysku SSD dostępna jest mała ilość wolnej przestrzeni, dysk nie jest w stanie przyjmować kolejnych zapisów z dotychczasową wydajnością. W przeciwieństwie do dysków magnetycznych, dane na dysku SSD nie mogą zostać po prostu nadpisane. Za każdym razem, gdy zapisujemy kolejne dane, oprogramowanie dysku musi sprawdzić, które bloki dysku są wolne, zgromadzić te częściowo wykorzystane bloki i zwolnić przestrzeń. Dopiero wtedy nowe dane mogą zostać zapisane. Aby zapewnić sprawne działanie dysku, tymczasowe operacje są wykonywane w specjalnie zarezerwowanej przestrzeni. Im większa jest ta przestrzeń, tym dysk lepiej zachowuje się przy dużym obciążeniu zapisem. Różne dyski SSD maja tę przestrzeń różnej wielkości – generalnie modele klasy enterprise mają większą, dyski konsumenckie, mniejszą, co bezpośrednio jest też związane z ceną dysku twardego. W tym przypadku mówimy o przestrzeni, która w dysku jest dostępna, ale nie jest uwzględniana w rozmiarze dysku (można o niej powiedzieć, że to przestrzeń tymczasowa – cache). Narzędzie profilowania dysków w QNAP pozwala na rozszerzenie wbudowanej przestrzeni zarezerwowanej o dodatkową wielkość kosztem dostępnej pojemności dysku. W ten sposób możemy ręcznie rozszerzyć ten wbudowany cache zwiększając wydajność dysku nawet w przypadku wzmożonego zapisu. Programowy Over-Provisioning możemy ustawić na wielkość o 0% do nawet 60%, jednak narzędzie może ocenić, jaka wartość będzie optymalna.
Ze względu na czas wykonywania testów profilowania dysków (do kilkunastu godzin), test taki przeprowadziliśmy tylko dla konfiguracji RAID 0.
Narzędzie profilowania dysków ma na celu znalezienie optymalnego poziomu wewnętrznego cache zapisu, który pozwoli zachować wysoką wydajność zapisu danych niezależnie od poziomu utylizacji dysku. Tańsze dyski twarde (konsumenckie) zwykle maja mały cache wbudowany, co oznacza, że przy wykorzystaniu powyżej 50% powierzchni dysku jego wydajność zacznie zauważalnie spadać. Dyski serwerowe, dyski klasy Enterprise zwykle wyposażone są w dużo większą pamięć dodatkową, która pozwala wydajnie zarządzać zapisem danych na dysku nawet przy wysokim jego wykorzystaniu (a dokładniej oferowanej przez niego przestrzeni). Między innymi to jest powodem dużo wyższej ceny takich dysków. Wcześniejsze testy dysków Kingston DC500M wykazały, że producent dobiera optymalny poziom wewnętrznej pamięci, ponieważ w przeprowadzonych testach profilowania dyski przez niemal cały czas testy wykazywały wysoką wydajność przy niemal zerowym dodatkowym provisioningu. Czyli mówiąc najprościej – nie potrzebują one wydzielenia dodatkowej pamięci z przestrzeni użytkowej.
Zobaczmy zatem, jak wypadły dyski DC1500M.
Jak widać na powyższym wykresie, najwyższy poziom IOPS udało się uzyskać przy zerowym OP. Tak więc teoretycznie najlepiej dyski będą się zachowywały, gdy nie będziemy ingerować w ustawienia pamięci podręcznej dysku. Brawo Kingston. Jednak warto też zauważyć, że przy dużym OP (na poziomie 40%), wydajność znowu wzrasta.
Zobaczmy jeszcze, jak wyglądał przebieg testu w czasie.
Tutaj mamy dobrze zobrazowane wyniki testu wykonanego dla grupy dysków z określoną testową powierzchnią OP (a więc widzimy zachowanie dysku przy użyciu wbudowanego cache + OP). W przypadku przebiegu w czasie widzimy potwierdzenie wcześniejszych wyników, a więc najlepsze wyniki odnotowane są dla OP na poziomie 0% i 40%. Co ciekawe, w przypadku 40% widoczny jest chwilowy spadek wydajności, z kolei przy 0% takiego zachowania nie widzimy.
Przejdźmy teraz do kolejnego testu – DiskFill Test.
Proces testowania dysków, który wykorzystujemy w backupacademy jest w większości przypadków taki sam dla wszystkich dysków. Dlatego przechodzimy teraz do kolejnego testu, a dokładniej wykonania serii zapisów i odczytów na dyskach przy użyciu narzędzia DiskFill Test. Ten test wykonywane jest z poziomu systemu urządzenia, ale w trybie tekstowym. Z urządzeniem łączymy się za pomocą SSH, testy wykonywane są z prawami administratora (choć nie jako „admin”, jak zazwyczaj, ponieważ system QTS 5 wymusza podczas inicjowania stworzenie innego użytkownika). Dyski połączone są w poziomy RAID 0, RAID 5 i RAID 10, w puli pamięci stworzony jest wolumin cienki o wielkości 1TB, a na nim katalog udostępniony „benchmark”. DiskFill test uruchamiamy z określonymi parametrami, które wymuszą dziesięciokrotny zapis pliku o wielkości 1024MB.
Zacznijmy od wyników dla RAID 0. W przypadku tego testu uzyskaliśmy wyniki odczytu na poziomie 4000MB/s i zapisu na poziomie ok. 1500 MB/s. Spodziewaliśmy się zobaczyć inne wyniki biorąc pod uwagę możliwości składowe każdego z dysków. Czy widoczne wyniki mają sens? To zależy. System zapisuje dziesięć plików po 1GB, po czym je odczytuje. W tej sytuacji system potrzebuje niecałej sekundy aby zapisać testowy plik, co z kolei pozwala wnioskować, że wielkość pliku jest niewystarczająca dla tego konkretnego testu i system nie ma możliwości uzyskania pełnej możliwej przepustowości podczas zapisu danych na dyskach.
Poniżej widoczne są jeszcze wyniki takiego samego testu dla RAID 5 i RAID 10. Jednak biorąc pod uwagę uzyskane wyniki, są one bardzo zbliżone do tych uzyskanych w RAID 0.
Spójrzmy jeszcze na zestawienie wyników naszych dysków pracujących we wszystkich trzech testowanych grupach RAID:
Jak widać wyniki są znacząco podobne, co potwierdza wcześniejszą tezę, że wielkość testowanych plików była niewystarczająca.
Następnym testem, który przeprowadzimy będzie odczyt i zapis przy użyciu systemowego narzędzia dd.
DD jest narzędziem wbudowanym w system, które pozwala kopiować pliki pomiędzy urządzeniami i plikami. Z punktu widzenia systemu plików w Linux, każde urządzenie dyskowe widoczne jest jako osobny plik (np. /dev/nvme0n1), co pozwala na kopiowanie ich zawartości pomiędzy sobą, zwykłymi plikami jak i specjalnymi urządzeniami w systemie linux, jak /dev/zero i /dev/random. Właśnie z tej możliwości dd korzystamy w naszym teście. Benchmark dysków przy użyciu dd obejmuje procedurę zapisu i odczytu 1GB w plikach po 256KB. Oznacza to, że system musi zapisać sekwencyjnie dużą liczbę małych plików. Najpierw pliki są zapisywane, po czym system czeka 5 minut i rozpoczyna ich odczyt. Wyniki otrzymane podczas tego testu prezentujemy na poniższych wykresach i w tabelkach.
Jak widać na powyższych wykresach mamy do czynienia z bardzo podobnymi wynikami do wcześniej wykonanego testu za pomocą DiskFill Test. Tutaj tez maksimum to okolice 4,5GB/s w odczycie danych i 1,64GB/s w zapisie. Warto jednak zwrócić uwagę, że bez względu na poziom RAID wyniki są zbliżone. Ciekawe jest jednak to, że konfiguracja z RAID 5 pozwoliła uzyskać wyższą prędkość odczytu niż pozostałe, z kolei zapis najszybszy był w trybie RAID 0. Wyniki dd nie powinny być traktowane jako wyrocznia. Testy te wykonywane są bezpośrednio w działającym systemie (którego obciążenie może się różnic pomiędzy testami), jak również pracujemy na bardzo małych plikach. W przypadku zapisu małego pliku system nie jest w stanie wykorzystać maksymalnej przepustowości, ponieważ szybkość zapisu rośnie w początkowej fazie i zanim system uzyska max, kończy się plik do przesłania. W przypadku dd system nie przetwarza też zapisu plików równolegle, ale szeregowo. Dlatego w tym momencie możemy założyć, że obie aplikacje testujące nie były stanie ukazać maksymalnych możliwości dysków połączonych w trzy grupy RAID. Dlatego też nasz proces testowania zakłada wykorzystanie kilku narzędzi różniących się specyfiką wykonywanych czynności testujących.
W tym miejscu warto też podkreślić jedną rzecz – dd jest bardzo popularnym i wygodnym narzędziem. Jednak nie można traktować go jako w pełni wiarygodne narzędzie testujące, szczególnie w przypadku testów wydajności dla zapisu i odczytu sekwencyjnego.
Ponieważ dd nie było w stanie pokazać nam maksymalnych możliwości testowanych dysków (a przynajmniej wyników zakładanych na podstawie specyfiki producenta), przeszliśmy do testów z wykorzystaniem narzędzia FIO (Flexible I/O tester). Narzędzie to oferuje bardzo bogate możliwości konfiguracji i dostosowania specyfiki testów do sprawdzanych dysków i środowiska, w którym chcemy je przetestować.
W naszym przypadku postanowiliśmy sprawdzić jakie maksimum uda nam się uzyskać.
No i tutaj dochodzimy do wyników, które nas bardzo mocno satysfakcjonują. W przypadku RAID 0 i RAID 10 udało nam się uzyskać wartości zbieżne z deklarowanymi przez producenta osiągami jak również zbliżone do wyników wyświetlanych w Pamięć Masowa i Migawki. W ten sposób mamy potwierdzenie, że cały nasz zestaw testowy jest w stanie uzyskać bardzo wysokie wartości. Oczywiście w przypadku naszych testów jest to możliwe nie tylko ze względu na możliwości samych dysków, ale również urządzenia testującego, czyli QNAP TS-h2490FU z procesorem AMD EPYC.
Zwróćmy jednak uwagę na zestawienie wszystkich wyników FIO. W tym przypadku widzimy dosyć istotną zależność prędkości i zapisu w zależności od poziomu RAID, w którym skonfigurowane są dyski. Najwolniejsza opcja to RAID 5, co w tym przypadku pokrywa się z założeniami i charakterystyką tego poziomu RAID. Najszybszy odczyt zauważamy w przypadku RAID 10, 12 928 MB/s. W przeliczeniu na GB/s per dysk, wartość wynosi 3,1GB/s, czyli wartość zbliżona do deklarowanego przez Kingston maksimum. W przypadku zapisu prędkość jest niewiele wyższa niż w przypadku RAID 5, jednak tutaj musimy pamiętać, że prędkość zapisu synchronicznego w RAID 10 zawsze będzie niższa, niż RAID 10. Ma to związek z charakterystyką tego typu RAID – mamy zapis naprzemienny jak w RAID 0, ale pomiędzy 2 grupami, z których każda korzysta z dysków połączonych w RAID 1. Czyli tutaj mamy RAID 0 na dwóch grupach RAID 1, z której każda oferuje teoretycznie po 1,6GB/s zapisu. Więc w tym przypadku nie uzyskujemy maksimum oferowanego przez dyski, ale wynik jest niewiele gorszy. Najlepszy okazał się oczywiście RAID 0, oferując najwyższe prędkości zapisu i odczytu danych. Jednak ze względu na brak jakiejkolwiek redundancji, ta opcja jest niezalecana z codziennym użyciu (za wyjątkiem określonych przypadków, gdzie taka przestrzeń jest zabezpieczona na innym poziomie).
Niezależnie od testowanych dysków zawsze poddajemy jest testowi wykonanemu przy użyciu IOmeter. Dzięki jego możliwości wykonania kompleksowego sprawdzenia wydajności i przepustowości dysków, możemy zweryfikować, jak dyski zachowają się przy testach różną wielkością bloku, nie tylko pod względem jednorazowego zapisu, ale także jak wygląda wydajność w czasie. Oczywiście test będzie wykonywany w zakresie grup RAID, w których pracują dyski. Na potrzeby wykonywanego benchmarku, dyski poddamy zestawowi następujących testów:
Przyjrzyjmy się bliżej wynikom uzyskanym przez IOmeter:
W przypadku testów IOmeter’em, udało nam się uzyskać maksymalną przepustowość na poziomie 2086 MB/s w RAID 0 dla losowego zapisu. W przypadku testów iSCSI ograniczeniem jest przepustowość łącza – 25GbE, co w idealnych warunkach powinno zaoferować 3125 MB/s niezależnie od konfiguracji RAID, w której pracują dyski twarde. W naszym przypadku żaden z testów wykonanych przez IOmeter nie uzyskał maksymalnej prędkości, jaką oferują łącze. Jednak po raz kolejny możemy zobaczyć ciekawą zależność – w przypadku większego rozmiaru bloku i zapisu losowego – RAID 5 wypada najgorzej. Nie jest to jednak wina dysków, które z punktu widzenia swojej specyfiki oferują wysokie wartości, a raczej charakterystyka samego poziomu RAID, w którym te dyski pracują.
2. iSCSI 25GbE – IOPS
Zobaczmy teraz, jak wygląda sytuacja w przypadku IOPS.
IOmeter wykonuje swoje testy na przestrzeni określonego czasu, pokazując jak dysk będzie się zachowywał podczas całego testu. W naszym przypadku stworzyliśmy zestaw testów dla jednego workera, które obejmują trzy wielkości bloku. Zmieniając te wartości i dodając kolejne workery, ostateczne wyniki mogłyby być znacząco inne. Dlatego trzymamy się w testach zawsze takiej samej konfiguracji. W przypadku zestawionych wyników najwyższą wartość uzyskaliśmy dla testu zapisu sekwencyjnego 4K w RAID 5 i odczytu sekwencyjnego w RAID 5. Jednak warto tutaj zauważyć, że najlepsze wyniki ogólnie uzyskaliśmy w konfiguracji RAID 10. Jednak zróżnicowanie wyników pokazuje, że chcąc optymalnie dobrać poziom RAID do naszych potrzeb, powinniśmy wykonać zestaw testów dopasowanych do planowanego wykorzystania dysków. Ma to również o tyle istotne znaczenie, że w zależności od systemu, który korzysta z danej przestrzeni jak i wykorzystywanych aplikacji, dyski mogą oferować zróżnicowaną wydajność.
Jednak na tym etapie warto też przyjrzeć się wynikom raportowanym przez IOmeter w całym zakresie wykonywanego testu. IOmeter w plikach wynikowych zapisuje wyniki IOPS uzyskiwane na poszczególnych etapach testu (podział sekundowy). Najlepsze wyniki uzyskiwane są w zakresie 100-200ms powoli spadając z biegiem wykonywanego testu. Oczywistym też jest, że im większy rozmiar bloku, tym dłużej raportowana jest wydajność (kwestia czasu potrzebnego na zapis bloku).
Ale zobaczmy, jak zachowa się nasza przestrzeń dyskowa w relatywnie prostych testach zapisu i odczytu danych. W pierwszej kolejności przetestujemy ją przy pomocy CristalDiskMark.
CristalDiskMark pozwala przetestować dysk twardy komputera na kilka sposobów. Weryfikuje szybkość zapisu i odczytu sekwencyjnego, losowego jak również liczbę IOPS oraz opóźnienie w zapisie/odczycie. Aplikacja ma kilka trybów pracy, jednak w naszych benchmarkach zawsze wykorzystujemy opcję Peak Performance, która ma pokazać najwyższe wartości możliwe do uzyskania.
W testach wydajności przy użyciu oprogramowania CristalDiskMark wykonaliśmy szereg identycznych testów w trzech konfiguracjach łączących 4 dyski twarde:
Dla każdego z nich, zostały przeprowadzone następujące pomiary:
Zacznijmy od przeanalizowania wyników IOPS:
Już na pierwszy rzut oka możemy potwierdzić wcześniej otrzymywane wyniki – najlepszy odczyt notujemy w konfiguracji RAID 10. W tym przypadku system jest w stanie uzyskać ponad 160000 IOPS odczytu przy teście wykorzystującym plik 16MiB i podobne wartości przy pliku 64GB. Jest to o tyle istotne, że przy wcześniejszych testach innych dysków zwykle wartość IOPS znacząco spadała w przypadku pliku 64GB. A tutaj również widzimy pewne wachania, jednak zdecydowanie niższe. Pozwala to zakładać, że dyski Kingston DC1500M faktycznie są w stanie oferować wysoką wydajność zapisu i odczytu nawet w bardziej wymagających środowiskach. Również ważne jest to, że wyniki prezentowane na wykresie dotyczą pojedynczego wątku. Jednak wykonując podobne testy z 8 wątkami (pozwala na to CristalDiskMark), wyniki były bardzo zbliżone. Nasze wyniki prezentujemy dla pojedycznego wątku, aby zachować spójność z innymi wykonywanymi testami.
Przejdźmy teraz do zapisu i odczytu sekwencyjnego, które pokazały nam, jak wolne jest łącze 25GbE. Niesety, ale niemal wszystkie przypadki odczytu uzyskały wartość ponad 3000MB/s, czyli wyrównały maksymalną wartość możliwą do osiągnięcia łączem 25GbE. Co ciekawe, jedynym wyjątkiem od tej zasady jest konfiguracja RAID 0, gdzie wyniki nieznacznie przekroczyły 2500 MB/s. Trochę inaczej wyglądają wyniki w przypadku zapisu. Tutaj w każdej grupie testów uzyskujemy najlepszy wynik właśnie w RAID 0, gdzie widzimy ogólnie najmniejsze różnice w wynikach zapisu/odczytu. Jednak podsumowując uzyskane wyniki (trend), widzimy potwierdzenie wyników wcześniej uzyskanych w testach FIO, czyli RAID 10 znowu jest najbardziej optymalnym wyjściem.
Ostanie zestawienie, to opóźnienie zarejestrowane przez CristalDiskMark dla zapisu i odczytu. Tutaj mamy znaczne wahania pomiędzy poziomami RAID, gdzie najniższe widzimy w RAID 0 bez względu na wielkość testowego pliku. W tym przypadku wartość opóźnień wynosi ok 0,3 milisekundy (uwaga – na wykresie wartości prezentowane są w mikrosekundach). Standardem dla pozostałych grup RAID to ok. 3 milisekundy w odczycie i 4-5 milisekund w zapisie. Generalnie w przypadku opóźnienia im mniejsza wartość tym lepiej.
Przedostatnim wykonywanym testem jest AJA System Test, który wykonujemy, aby potwierdzić wcześniej uzyskiwane wyniki jak również po to, aby zobrazować zachowanie naszych urządzeń w praktycznych zastosowaniach. AJA System Test zapisuje i odczytuje sekwencyjnie pliki różnej wielkości (256MB, 512MB, 1GB, 4GB, 16GB oraz 64GB) będące sztucznie wygenerowanymi plikami video różnej rozdzielczości. AJA testuje zapis i odczyt pod kątem pracy na plikach video, dlatego podczas przeprowadzania testu możemy oprócz wielkości testowego pliku wybrać również rozdzielczość pliku video. Dla plików z zakresu 256MB do 16GB wykorzystujemy opcję pliku HD 1080p, natomiast dla opcji 64GB jest to plik 5120×2700 5K z kamery RED. Wyniki, które uzyskaliśmy podczas testów widoczne są poniżej w tabelkach i na wykresach.
Zapis danych na dysku QNAP podłączonym przez iSCSI jako LUN blokowy najgorzej wypada w konfiguracji RAID 5. Najwyższa wartość zapisu, jaką uzyskaliśmy to 2337MB/s w RAID 0 dla pliku 1GB.
A jak wyglądają wyniku odczytu? Co ciekwe, zdecydowanie gorzej, niż zapis. Jest to o tyle zaskakujące, że w niemal każdym dotychczasowym przypadku to właśnie odczyt był znacząco lepszy. Jednak AJA ze względu na swój sposób testowania trochę inaczej traktuje procesy odczytu i zapisu, ponieważ opiera się o konkretne pliki video, które generuje na potrzeby wykonywanego testu.
Ostateczne zestawienie wyników dla wszystkich grup RAID we wszystkich testach pokazują, że dla plików multimedialnych, a w szczególności dla plików video konfiguracja RAID 10 jest najbardziej optymalna. W połączeniu z dyskami Kingston DC1500M pozwala na szybką i wydajną pracę na materiale różnej wielkości i rozdzielczości.
Przejdźmy teraz do ostantiego testu, którym standardowo jest kopiowanie plików przy użyciu robocopy. Robocopy jest narzędziem wbudowanym w system Windows, które pozwala kopiować pliki, ale też podczas wykonywanych czynności wyświetla podsumowanie obejmujące czas kopiowania plików oraz szybkość. Co ważne, w tym teście wykonujemy tylko zapis na dyskach QNAP, nie sprawdzamy odczytu. W ten sposób zweryfikujemy, jak dyski zachowają się w przypadku różnej liczby plików o sumarycznej wielkości 100GB.
Testy wykonujemy dla następujących plików:
W ten sposób zobaczymy nie tylko to, ile czasu potrzebuje aplikacja na przesłanie 100GB w zależności od poziomu RAID ale też czy liczba/wielkość plików będzie miała istotne znacznie.
Uwaga – im wyższy wynik, tym gorzej!
Test wykonywany jest w trybie sekwencyjnym, czyli aplikacja zaczyna transfer kolejnego pliku dopiero po zakończeniu przesyłania wcześniejszego pliku. To oczywiście powoduje, że teoretycznie najbardziej wydajne poziomy RAID wykazują słabsze wyniki. Dlatego też na wykresie widzimy, że najlepsze wyniki prezentuje RAID 0 (jak niemal w każdym przypadku), jednak nielewe gorzej wypada RAID 5. Najgorszy wynik odnotowaliśmy w przypadku RAID 10, gdzie przesyłanie plików trwało najdłużej. Niemniej, w każdym przypadku najlepiej wypadł proces przesyłania mniejszych plików (100x1GB) niż jednego dużego, czyli 1x100GB.
Warto też podkreślić, że każdy test był powtarzany trzykrotnie, dlatego wykres prezentuje też średnią z tych trzech wyników. Nie zmienia to jednak ogólnego poglądu na wyniki.
Jakie faktyczne przełożenie mają te wyniki na rzeczywistość? Przede wszystkim pokazują, że jeśli planujemy środowisko backupu, warto przeprowadzić testy wydajności pod kątem wielkości kopii zapasowych oraz liczby jednoczesnych zadań. Jak widać na powyższym wykresie, RAID 10 może być nie dość, że zbyt drogą implementacją, to dodatkowo może być mniej wydajny. Jeśli jednocześnie kopia zapasowa będzie realizowana przez 1-2 urządzenia, np. serwery, RAID 5 może być całkowicie wystarczający. Jednak tutaj też pamietajmy, że dyski DC1500M niekoniecznie projektowane były z myślą o przechowywaniu backupu, wielokrotnie w naszych testach udowadniały, że idealnie sprawdzają się w sytuacji, gdzie przeważa zapis/odczyt losowy.
To już wszystkie testy, jakie zaplanowaliśmy i wykonaliśmy dla dysków Kingston DC1500M. Tak więc czas na podsumowanie.
Każdy dysk, który trafia do naszego testowego labu, budzi nasze zainteresowanie. Teoretycznie zawsze testujemy dyski, jednak zawsze oczekujemy jakiegoś „wow”, którym nas dany dysk zaskoczy. Do tej pory każdy z testów, które wykonaliśmy i które możecie przeczytać na backupacademy.pl był dla nas miłym zaskoczeniem. Wielokrotnie wyniki pokazywały, że producenci dysków wciąż mają wiele do powiedzenia w temacie pojemności ale też i wydajności swoich produktów.
Dyski Kingston DC1500M U.2 SSD to dyski typu NVMe PCIe, a więc typ oferujący wysokie przepustowości. Podstawowym problemem klasycznych dysków SATA jest ograniczenie przepustowości samej magistrali, czyli SATA III 6Gbps. Oznacza to, że takie dyski mogą pracować z maksymalną prędkością ok. 750 MB/s. Jest to niestety wartość mocno teoretyczna, ponieważ bliższe rzeczywistości są prędkości na poziomie 550-600MB/s. W większości przypadków jest to wartość zdecydowanie wystarczająca, biorąc pod uwagę możliwości sieci 1GbE czy nawet 2,5GbE, gdzie mamy odpowiednio 125MB/s i 312,5MB/s teoretycznej maksymalnej przepustowości. Łącząc takie dyski w wyższe grupy RAID, taka sieć staje się jeszcze węższym gardłem. Dlatego w przypadku dysków SSD największy sens ma sieć 10GbE. Oczywiście tutaj idziemy w drugim kierunku, bo pojedynczy dysk SSD SATA ma mniejszą prędkość niż taka sieć (1,25GB/s). Tak więc korzystając z kilku dysków SSD w RAID prędkość sieci i dysków mogą się zrównoważyć. I dochodzimy do sedna sprawy – nie tylko przepustowość ma znaczenie, ale również liczba IOPS, która przekłada się na wydajność w środowiskach z dużym odsetkiem zapisu i odczytu losowego. Ale sieci 10GbE zaczynają być standardem, jak niegdyś 1GbE, a firmy wymagające wydajności i wysokich prędkości zaczynają stosować wyższe prędkości jak 25GbE, 40GbE czy nawet 100GbE (co ważne, obecnie QNAP oferuje już karty 100GbE do tego modelu NAS). I w takich sytuacjach dyski SATA przestają być wystarczające. I tutaj na scenę wchodzą dyski NVMe PCIe Gen3 x4.
Dzięki zastosowaniu magistrali PCIe Gen3x4, dyski Kingston DC1500M mogą pracować z prędkością na poziomie ponad 3GB/s. Porównując to z siecią 25GbE – pojedynczy dysk jest w stanie wysycić w odczycie całe łącze. Oznacza to, że w wymagających środowiskach i łączach 25GbE wzwyż takie dyski będą w stanie zapewnić odpowiednią wydajność.
No dobrze, ale jak możemy podsumować testy dysków DC1500M? Przede wszwtkiem – wydajność. W niemal wszystkich testach dyski zaskoczyły nas swoją szybkością. Wisienką na torcie był fakt, że QNAP, którym dyski pracowały był w stanie ocenić prędkość na wyższą, niż deklaruje producent! Takie sytuacje zdarzają się zdecydowanie rzadko. Łącząc dyski w grupy RAID byliśmy w stanie uzyskać na poziomie urządzenia prędkości odczytu na poziomie ponad 12GB na sekundę! Jest to wynik imponujący, ponieważ pokrywa się z teoretycznymi możliwościami połączenia czterech takich dysków w grupę RAID 0 czy RAID 10. Ogromnym plusem była też sama współpraca testowanych dysków z urządzeniem QNAP NAS TS-h2490FU – żadna ze składowych tego zestawu – ani NAS ani dyski nie zawodziły, a całość pracowała jak stworzona z myślą o sobie. Dzięki procesorowi AMD EPYC cztery dyski Kingston DC1500M mogły rozwinąć pełnię swoich możliwości. Oczywiście przy 24 dyskach wciąż będzie to możliwe, ponieważ każda zatoka U.2 ma swoją niezależną linię PCIe.
Czy warto stosować takie dyski? Warto, ale z przysłowiową gwiazdką (*). Jeśli środowisko pracy wymaga wysokich prędkości przesyłu danych oraz wydajności w mocno obciążonym środowisku – takie dyski będą idealnym wyborem. Jednak musimy pamiętać o drugiej stronie tego równania – szybkiej i wydajnej sieci. Posiadając lub planując taką sieć, dyski DC1500M będą idealnym wyborem.
Jeśli jednak jesteś użytkownikiem domowym, bądź posiadasz sieć 10GbE i nie planujesz jej rozbudować – DC1500M mogą po prostu się nudzić… Oczywiście wiele zależy od przeznaczenia – świetnie się sprawdzą jako dyski dla maszyn wirtualnych. Z kolei niekoniecznie warto w nie inwestować w przypadku przechowywania plików (podstawowa rola NAS) i sieci do max. 10GbE. Dobór dysków zawsze powinien być poprzedzony sensowną analizą wymagań i możliwości środowiska, w którym będą pracowały oraz przeznaczenia. Jeśli poszukujemy wydajności na każdym poziomie – poszukiwania można uznać za zakończone, Kingston DC1500M są tutaj. A to nie ostatnie słowo producenta w tej kwestii.
Uwaga
Testy zostały przeprowadzony w sposób niezależny. Firma Kingston nie płaciła za wykonanie testów jedynie dostarczyła cztery dyski, które zostały później przekazane na potrzeby demo firmie QNAP. Oznacza to, że partnerzy i klienci QNAP zainteresowani wykonaniem testów w swoich sieciach mogą skorzystać z testowanych dysków oraz urządzenia TS-h2490FU. Wszystkie wyniki zostały uzyskane z założeniem określonej w treści metodyki badań w hermetycznym środowisku, dlatego mogą się nieznacznie różnić od wyników uzyskiwanych w innej konfiguracji sprzętowo-programowej. Spostrzeżenia własne autorów. Wszystkie materiały należą do autorów testu, chyba, że zaznaczono inaczej.
Jeśli jesteś zainteresowany testami wykorzystywanego przez nas zestawu:
Skontaktuj się z Certyfikowanymi Partnerami firmy QNAP, których znajdziesz na stronie: https://www.qnap.com/pl-pl/where-to-buy/europe-cis/poland/premium-partner
Jak co tydzień, w piątek zapraszamy do kolejnego zestawienia nowości ze świata backup i storage:…
Zapraszamy do zestawienia ciekawych informacji ze świata backup i storage z bieżącego tygodnia. https://www.storagenewsletter.com/2023/10/13/scalable-storage-for-digitalocean-postgresql-and-mysql-managed-databases/ INFO:…
Bieżący tydzień był bardzo ubogi w wydarzenia w świecie backup i storage, niemniej jak zwykle,…
To już czterdziesty tydzień z naszym zestawieniem nowości ze świata backup i storage. https://www.servethehome.com/fanxiang-s660-4tb-pcie-gen4-nvme-ssd-review/ INFO:…
Zapraszamy do kolejnego zestawienia newsów ze świata backup i storage z bieżącego tygodnia. https://www.servethehome.com/ampere-ampereone-wins-big-at-oracle-cloud-a2-arm/ INFO:…
Mija kolejny tydzień, który przyniósł ciekawe informacje ze świata backup i storage. Zebraliśmy je w…