EXTRA Exos, czyli jak szybkie są Seagate Exos 18TB

Kolejnymi dyskami HDD, które trafiły do testów w naszej redakcji, są pojemne dyski Seagate Exos X18 (ST18000NM000J). 18TB to obecnie największa pojemność dostępna w dyskach twardych, która jednocześnie robi ogromne wrażenie, ponieważ 2-3 lata temu mogliśmy taką przestrzeń uzyskać tylko łącząc mniejsze dyski. W tym artykule opiszemy wyniki naszych testów i zobaczymy, czy tak ogromna pojemność będzie szła w parze również z wysoką wydajnością.

Seagate Exos to linia profesjonalnych dysków kierowana do zastosowań w środowiskach hiperskalowalnych, centrach danych i na potrzeby tworzenia chmury. Dzięki zastosowaniu tych dysków, możliwe jest stworzenie przestrzeni wymaganych do składowania dużych zbiorów danych. W przeciwieństwie do serii IronWolf, której przedstawiciela, model ST8000VN004 testowaliśmy jakiś czas temu, dyski z serii Exos nie są przeznaczone głównie do zastosowania w NAS, dzięki czemu możemy je wykorzystywać też w innych, typowych macierzach dyskowych tworząc grupy RAID o dużej pojemności i gęstości. W naszym przypadku sprawdzimy, jak dyski X18 sprawdzą się w pracy w NAS, wykonując te same testy, co w poprzednich artykułach.

Seria Exos oferuje obecnie pojemności 10TB, 14TB, 16TB, 18TB, co jasno pokazuje jaki był zamysł projektantów tej serii – uzyskanie dużych przestrzeni dyskowych w macierzach RAID. My dostaliśmy od firmy Seagate do testu największe z dostępnych dysków – 18TB. Pierwszym pytaniem, które pojawiło się po otrzymaniu dysków, to czy dyski o takiej pojemności faktycznie mogą oferować zadowalającą wydajność. Biorąc pod uwagę wyniki testów dysków IronWolf 8TB, które były więcej niż zadowalające (biorąc pod uwagę, że mówimy o dyskach HDD), nasze oczekiwania były, przyznaję, bardzo wysokie.

Ponieważ wysokie pojemności i duże prędkości dysków wymagają specjalnych technologii, pozwalających na osiągnięcie wysokich wyników i bezawaryjną pracę, w dyskach serii Exos znajdziemy szereg takich funkcji:

  • Konstrukcja wykorzystująca hel z dodatkowymi mechanizmami chroniącymi przed nieszczelnością
  • Niska zawartość halogenów
  • PowerChoiceTM, czyli technologia optymalizacji poboru mocy w stanie spoczynku
  • PowerBalanceTM, czyli technologia optymalizacji mocy/wydajności
  • Pokrycie organiczne typu OSP (Organic Solderability Preservative)
  • Cyfrowe czujniki monitorujące warunki wewnątrz dysku,

Warto też podkreślić, że dyski z serii Exos posiadają 5 lat gwarancji, co pozwala na profesjonalne zastosowanie w krytycznych macierzach dyskowych w firmie. Poniżej prezentujemy najważniejsze informacje o dysku. Jeśli chcecie przeczytać pełną specyfikację, dostępna jest w pdf na stronie producenta.

Pojemność 18 TB
Numer modelu standardowego ST18000NM000J
Interfejs SATA 6 Gb/s
Technologia nagrywania CMR
Maks. średnia szybkość transmisji, śr. zewn. (MB/s) 270 MB/s
Prędkość obrotowa (obr./min) 7200
Pamięć podręczna (MB) 256
Cykle ładowania/rozładowania 600 000
Liczba godzin w stanie zasilania 8 760
Średni czas bezawaryjnej pracy (MTBF, w godz.) 2 500 000
Okres ograniczonej gwarancji (lata) 5
Średni pobór mocy w trybie pracy (W) 9,4 W
W stanie spoczynku, średnio (W) 5,3 W

Środowisko testowe

Dyski Seagate Exos X18 testowaliśmy w takim samym środowisku, jak wcześniejsze dyski:

Wszystkie testowane dyski zostały zamontowane w urządzeniu QNAP TS-983XU, który posiada 4 zatoki na dyski 3,5″/2,5″ oraz 5 zatok 2,5″. W tym przypadku wykorzystujemy tylko zatoki 3,5″. Dokładna konfiguracja naszego środowiska wygląda następująco:

NAS – QNAP TS-983XU-E2124

Procesor – Czterordzeniowy procesor Intel® Xeon® E-2124 o taktowaniu 3,3 GHz (zwiększanym do 4,3 GHz)

Pamięć systemowa – 40GB RAM w modułach: 8 GB UDIMM DDR4 ECC (2 x 4 GB) + 32 GB UDIMM DDR4 ECC (2 x 16 GB)

Wnęki dysków – 4 zatoki 3,5-calowe + 5 zatok 2,5-calowych SATA 6 Gb/s, 3 Gb/s

Port Gigabit sieci Ethernet (RJ45) – 2

Port 10 Gigabit sieci Ethernet – 2 porty 10GbE SFP+ SmartNIC

Pełna specyfikacja sprzętowa dostępna tutaj: https://www.qnap.com/pl-pl/product/ts-983xu/specs/hardware

Urządzenie działa pod kontrolą systemu operacyjnego QNAP QTS 4.4.3.1439. Dodatkowym rozszerzeniem urządzenia była zamontowana karta PCIe – Qlogic QLE2562 8Gb/s Fibre Channel, aby możliwe było przetestowanie działania dysków podczas udostępniania przestrzeni blokowo przez Fibre Channel. Test wykonujemy w systemie QTS.

Konfiguracja serwera testującego:

Procesor: 4-rdzeniowy procesor Intel® Core™ i3-8100T 3,1 GHz

Pamięć systemowa: 8 GB SODIMM DDR4 (2 x 4 GB)

Wnęka dysków: 6 zatok 3,5-calowych SATA 6 Gb/s, 3 Gb/s

Port Gigabit sieci Ethernet (RJ45): 2

Port 10 Gigabit sieci Ethernet: 1 x 10GBASE-T (10G/5G/2,5G/1G/100M)

Kontroler FC: Qlogic QLE2562 8Gb/s

Dysk twardy: WD Blue SSD 480GB

Adapter 10GbE SFP+: QXG-10G2SF-CX4 – dodatkowa karta PCIe.

QNAP NAS i serwer testujący zostały połączone bezpośrednio za pomocą 1,5-metrowego przewodu DAC QNAP CAB-DAC15M-SFPP.

Na potrzeby testów przyjęto, że przestrzeń udostępniana blokowo przez iSCSI i FC będzie skonfigurowana jako LUN typu Thin (cienki, alokowanie elastyczne) o wielkości 1024GB, wielkość sektora 4K, sformatowany w NTFS z poziomu Windows Serwer 2019. Wyjątkiem były testy SMB, gdzie korzystano z woluminu cienkiego o wielkości 15TB.

Testy dysków X18 przeprowadziliśmy używając znanego już z poprzednich artykułów zestawu narzędzi – zestaw benchmarków został uruchomiony, aby możliwe było zestawienie wyników i wykluczenie ewentualnych błędów/przekłamań.

Testy wydajności przeprowadzane były z poziomu specjalnie przygotowanego do tego celu serwera. Wykorzystaliśmy urządzenie QNAP TS-672XT, jednak bezpośrednio na urządzeniu został zainstalowany system Microsoft Windows Server 2019. 

Testy wykonano przy użyciu:

  1. Wbudowanych mechanizmów testowania dysków w systemie QTS
  2. Narzędzia DiskFillTest
  3. Narzędzi DD w systemie QTS
  4. CristalDiskMark, wersja 7.0.0 x64
  5. IOmeter, wersja 1.1.0
  6. AJA System Test, wersja 2.1
  7. Szybkość i czas kopiowania plików przy użyciu narzędzia robocopy w systemie Windows Server 2019

Test 1 – QTS

Podłączenie dysków do urządzenia jest oczywiście standardową procedurą, więc przejdźmy od razu do informacji, które prezentuje nam QNAP. W aplikacji Pamięć masowa i migawki możemy uzyskać informacje o każdym z podłączonych dysków. Jak widać na zrzucie ekranu poniżej, dyski pracują z temperaturą ok. 35 st C, prędkość połączenia to 6Gbps. Każdy z dysków, które oznaczone są jako 18TB oferuje nam do dyspozycji 16,37 TB faktycznej przestrzeni. Różnica nie wynika z błędnego oznaczenia dysku czy celowego działania producenta, tylko z przeliczników stosowanych w tym przypadku. Standardowo pojemność dysków podawana jest w systemie dziesiętnym (base 10), gdzie jeden terabajt (TB) równa się 1 000 000 000 000 bajtom. Duża część systemów operacyjnych używa systemu binarnego do oznaczenia pojemności, a więc jeden megabajt to 1 048 576 bajtów, a jeden terabajt równa się 1 099 511 627 776 bajtom. Co ważne, niezależnie od systemu wykorzystywanego do oznaczenia pojemności, mówimy o takiej samej faktycznej przestrzeni. Dlatego testowany jakiś czas temu Seagate IronWolf 8TB miał 8 TB (8 000 GB) miał 7 452 GB widocznej przestrzeni. Taka notacja może być myląca, jednak jest to standard wykorzystywany przez producentów dysków, więc warto to mieć na uwadze. Więcej o tym przeczytasz tutaj.

Aby przetestować możliwości dysków twardych, zawsze zaczynamy od sprawdzenia, jakie wyniki uzyskamy przy teście nieskonfigurowanych dysków. Oznacza to, że podłączamy je do QNAP, inicjujemy system, ale nie tworzymy puli pamięci czy woluminów. Dzięki temu możemy zmierzyć parametry każdego dysku z osobna.

Przyjęta przez nas metodyka obejmuje wykonanie dwóch testów – Odczytu sekwencyjnego (MB/s) i odczytu losowego (IOPS). Wyniki, które widzimy rozbudziły nasze nadzieje co do możliwości testowanych Exosów. Średnio system oszacował prędkość w odczycie sekwencyjnym na ok 255 MB/s natomiast losowy odczyt na 187 IOPS.

Zobaczmy jeszcze, jak wyglądał przebieg testu w czasie.

Jak widać powyżej, wyniki są różne dla poszczególnych dysków, jednak w żadnym przypadku nie zeszliśmy poniżej 110 IOPS, jednak średnia wyników jest znacznie wyższa. Korzystając z wykonanych wcześniej testów dysków Seagate IronWolf 8TB porównajmy, jak wzrost pojemności przełożył się na testowane parametry.

I tutaj ogromne zaskoczenie. Okazuje się, że ponad dwukrotnie większe dyski są szybsze od modelu IronWolf 8TB. Wydawałoby się, że technologia dysków twardych HDD niewiele więcej może nam zaoferować, jednak przeczy temu przypadek Exos X18. W obu przypadkach, a więc w odczycie sekwencyjnym i odczycie losowym IOPS mamy zdecydowanie wyższe wyniki niż w mniejszym dysku IronWolf 8TB. A przypominamy, że już przy okazji poprzedniego testu byliśmy pod wrażeniem wyników.

W tym teście mamy do czynienia z dyskami HDD, a więc nie używamy narzędzia profilowania dysków SSD. Dlatego przechodzimy do kolejnych testów, a więc testów z poziomu konsoli QNAP.

Test 2 – Konsola QNAP – DiskFill Test

Druga seria testów obejmuje wykorzystanie trzech narzędzi bezpośrednio z poziomu konsoli QNAP. Dostęp uzyskujemy poprzez połączenie SSH, testy uruchamiamy jako “admin”.

Pierwszy test wykonamy przy użyciu narzędzia disk-filltest. Jest to narzędzie, którego możemy używać do testowania dysków pod kątem występowania bad sektorów. My jednak skorzystamy z opcji zapisywania danych na grupie RAID i sprawdzenia prędkości zapisu. Narzędzie disk-filltest nie wymaga instalacji, więc skopiowany plik możemy uruchomić w QNAP NAS i wykonać test zapisu danych na dyskach. Na potrzeby testu, na woluminie cienkim zostały utworzone dwa katalogi: “benchmark”(w którym będą zapisywane pliki testowe) oraz “benchmak_files” (w nim zapisane są narzędzia i wyniki testów). Test obejmował zapis 10 plików o wielkości 1024MB każdy. Wynik polecenia zapisywany był do pliku tekstowego znajdującego się w osobnym katalogu.

time sleep 5 | ./disk-filltest-64bit -f 10 -S 1024 -C /share/benchmark >> /share/benchmark_files/DiskFillTEST_WD_R0_test_01.txt

Średnia wyników prędkości zapisu wygląda następująco (wartości wyrażone w MB/s):

RAID 0

Standardowo pierwszy test wykonaliśmy dla dysków X18 połączonych w RAID 0. W przypadku takiej grupy nie mamy żadnej redundancji na wypadek awarii któregoś z dysków, jednak jest to najszybsza grupa, więc sprawdzamy, na jakie transfery jesteśmy w stanie uzyskać. I tak najwyższy wynik, który otrzymujemy to 1098MB/s, co jest zgodne z oczekiwaniami biorąc pod uwagę deklarowane wyniki przez producenta.

RAID 5

W przypadku RAID 5, testowane dyski oferują znacząco niższe wyniki niż w przypadku RAID 0. Jednak musimy pamiętać, że zmienia się tutaj znacząco sposób połączenia dysków w grupie i charakterystyka ich pracy na poziomie grupy, co sprawia, że możemy uznać uzyskane wyniki za zadowalające. Pamiętajmy też, że z trzech testowanych poziomów, RAID 5 odznacza się najniższą wydajnością w zapisach losowych.

RAID 10

No i ostatnia opcja testowa, czyli RAID 10. W tym przypadku wyniki są zbliżone do tych uzyskanych w RAID 5, jednak ulegaj niższym wahaniom (widać to dobrze na wykresie niżej). Jest to o tyle znaczące, że RAID 10 najlepiej radzi sobie w sytuacji, gdzie przeważają zapisy losowe. Jednak w przypadku tego testu okazał się podobnie wydajny do RAID 5 (który teoretycznie w zapisie sekwencyjnym może radzić sobie lepiej). Oczywiście strata przestrzeni w tym przypadku jest większa (a więc i koszt implementacji), jednak mamy zapewnione wyższe bezpieczeństwo niż w RAID 5.

Zestawienie wyników wszystkich poziomów RAID

Zobaczmy teraz, jak testowane dyski Seagate Exos 18 TB poradziły sobie w testach DD.

Test 3 – Konsola QNAP – DD

DD czy raczej dd znane jest każdemu użytkownikowi linuksa (a przynajmniej powinno być). Służy do wykonywania dokładnych kopii dysków i nośników – np. pozwala utworzyć idealną kopię płyty. Jednak w przypadku naszych testów korzystamy z dd do wykonywania sekwencyjnego zapisu plików aby sprawdzić, z jaką prędkością i w jakim czasie każdy z nich zostanie zapisany na testowanym dysku. Test wykonujemy podobnie jak disk-filltestm czyli bezpośrednio z poziomu konsoli QNAP (połączenie SSH jako admin). Podczas testu zapisujemy i odczytujemy 256 plików po 256MB. Skrypt wykonuje najpierw zapis wszystkich plików, po czym odczekuje 5 minut i zaczyna je odczytywać. Dodatkowo, na wykresach poniżej została zobrazowana zależność prędkości zapisu w czasie. Ponieważ test wykonujemy z poziomu urządzenia, zupełnie pomijamy ewentualny wpływ protokołu czy działania sieci.

Zobaczmy, jakie wyniki udało nam się uzyskać dla dysków Seagate SX18.

Już na pierwszy rzut oka widać, że wyniki testu dd są zbliżone do tych uzyskanych przy użyciu disk-filltest. W tym przypadku podobnie jak w poprzednim teście, tylko RAID 0 pozwolił przekroczyć 1000MB/s, jednak średni odczyt był niewiele poniżej tej wartości. Wyniki RAID 5 i RAID 10 było ok. o połowę niższe, jednak podobnie jak wcześniej, bardzo do siebie zbliżone. A znowu, pamiętajmy, że w tym przypadku mamy użytkową przestrzeń różniącą się pojemnością jednego dysku (a więc 18TB różnicy). Warto też zaznaczyć, że średnio uzyskaliśmy lepsze wyniki, niż w testach Seagate IronWolf 8TB. Zobaczmy jeszcze, jakie były średnie czasy zapisu.

W tym teście im niższy wynik, tym lepiej, ponieważ patrzymy na czas zapisu każdego pliku. Dobrze obrazują to poniższe wykresy, gdzie widzimy zależności pomiędzy prędkością zapisu poszczególnych plików oraz czasem. Jak widać najbardziej stałe były procesy odczytu plików w RAID 0 oraz RAID 10, z kolei dyski pracujące w RAID 5 wykazały największe wachania zapisu. W przypadku zapisu najmniejsza amplituda wahań występowała w przypadku RAID 10, mimo, że czasy były ponad dwukrotnie wyższe niż w przypadku RAID 0.

RAID 0 - odczyt
RAID 0 - zapis
RAID 5 - odczyt
RAID 5 - zapis
RAID 10 - odczyt
RAID 10 - zapis

Przejdźmy teraz do pierwszego testu wykonywanego już z poziomu zewnętrznego systemu, czyli CristalDiskMark.

TEST 3 – CristalDiskMark

CristalDiskMark jest pierwszym testem, który wykonujemy już z poziomu zewnętrznego systemu. W tym celu łączymy się z poziomu Microsoft Windows Serwer 2019 za pomocą iSCSI (10GbE przewodem DAC) oraz FC (8Gbps, światłowód). W testach wydajności przy użyciu oprogramowania CristalDiskMark wykonaliśmy szereg identycznych testów w trzech konfiguracjach łączących 4 dyski twarde:

  • RAID 0
  • RAID 5
  • RAID 10

Dla każdego z nich, zostały przeprowadzone następujące pomiary:

  • Plik 16MiB, odczyt 90%, zapis 10%
  • Plik 16MiB, odczyt 10%, zapis 90%
  • Plik 64GB, odczyt 90%, zapis 10%
  • Plik 64GB, odczyt 90%, zapis 100%

Wyniki odczytu przy transferze sekwencyjnym wyglądają następująco:

Bardzo ciekawie wyglądają wyniki dla mniejszego pliku – 16MiB. W tym przypadku niezależnie od grupy RAID, w której pracowały dyski, uzyskaliśmy niemal identyczne wyniki (różnica to cały 1MB/s!) przy połączeniu iSCSI. Podobnie w przypadku FC, gdzie były one oczywiście odpowiednio niższe (mamy 2Gbps wolniejsze łącze), jednak zarówno RAID 10 jak i RAID 0 wykazały taką samą skuteczność. W tym przypadku najbardziej zauważalny spadek wydajności wystąpił w przypadku RAID 5. Jeśli spojrzymy na test dużego, 64GiB pliku, zobaczymy już znaczne różnice pomiędzy poziomami RAID, jednak tutaj wciąż najlepiej radzi sobie RAID 0 (co nie dziwi, to widzieliśmy już we wcześniejszych testach). Jednak przy dużych plikach widać, że lepiej od RAID 10 radzi sobie RAID 5. Ten test dosyć dobrze pokazuje pewną zależność, która będzie miała znaczenie przy doborze optymalnego RAID. Jeśli pracujemy na mniejszych plikach – zwykle RAID 10 okazuje się bardziej wydajnym i lepszym wyborem, ponieważ przy podobnej wydajności daje nam wyższe bezpieczeństwo na wypadek uszkodzenia któregoś dysku. Jednak jeśli potrzebujemy przestrzeni składowanie dużych plików (wielkość liczona w gigabajtach), wtedy lepszym okazuje się RAID 5, który dodatkowo daje nam większą przestrzeń (co przekłada się bezpośrednio na koszt całego rozwiązania). Należy też oczywiście pamiętać o kwestiach ewentualnej odbudowy grupy RAID w przypadku uszkodzenia dysku (a mówimy tutaj o dyskach wielkości 18TB!!!), co również przekłada się na kwestie bezpieczeństwa zapisanych danych.

Czas na zapis sekwencyjny

W przypadku zapisu, widzimy podobną zależność, jak przy odczycie, co tylko potwierdza tezę postawioną wyżej. Dobór poziomu RAID powinien być zawsze podyktowany dogłębną analizą tego, co będzie na dyskach przechowywane, ale także który proces będzie dla nas ważniejszy – zapis danych, czy ich odczyt.

Przejdźmy teraz do analizy wyników dla zapisu i odczytu losowego.

RND4K

 

Ten test prezentuje wyniki w IOPS, a więc widzimy, ile operacji wejścia/wyjścia obsługują nasze dyski Seagate X18 w zależności od grupy RAID. Tutaj niestety wychodzi różnica między dyskami HDD a SSD. Wartości są znacząco niższe niż widzieliśmy w testach SSD, jednak mówimy o dyskach talerzowych, 18 razy większych, niż w testowanych WD SA500 czy Kingston DC500M. Ten test obnaża również przepaść, jaka dzieli te dwie technologie, a jednocześnie pokazuje, że dysk powinniśmy dobierać odpowiednio do potrzeb.

Zobaczmy teraz, jak nasze testowane dyski wypadły w testach wykonanych przez IOmeter.

Test 4 – IOmeter

Przechodzimy teraz do bodaj najważniejszego testu spośród wszystkich wykonywanych dla testowanych dysków. Testując dyski Seagate Exos 18TB przy użyciu IOmeter poddaliśmy je kompleksowemu badaniu wydajności i przepustowości. Na potrzeby testu w aplikacji korzystaliśmy z jednego workera oraz przygotowaliśmy zestaw benchmarków o następującej charakterystyce, które traktujemy jako standard w naszych benchmarkach. Dokładnie te same testy wykonywaliśmy dla testowanych wcześniej dysków SSD Kingston DC500M i WD SA500 oraz HDD Seagate IronWolf:

  • 4KB Random Read
  • 4KB Random Write
  • 4KB Sequential Read
  • 4KB Sequential Write
  • 8KB Random Read
  • 8KB Random Write
  • 8KB Sequential Read
  • 8KB Sequential Write
  • 64KB Random Read
  • 64KB Random Write
  • 64KB Sequential Read
  • 64KB Sequential Write

Wyniki przeprowadzonych testów wypadły następująco:

1. iSCIS 10GbE – IOPS

 

2. iSCIS 10GbE – MB/s

3. iSCIS 10GbE – IOPS w czasie 

W wykonywanych przez nas testach przy użyciu IOmeter skupiamy się na zapisie/odczycie sekwencyjnym oraz losowym aby zweryfikować zachowanie dysku w różnych sytuacjach. Teoretycznie w przypadku NAS głównie mamy do czynienia z zapisem i odczytem sekwencyjnym, jeśli jednak mamy na urządzeniu uruchomione maszyny wirtualne, kontenery czy udostępniamy przestrzeń zewnętrznym systemom na potrzeby np. Wirtualizacji (Hyper-V, VMware) pojawi się spora ilość zapisów i odczytów losowych.

Testowane dyski niezależnie od grupy RAID w której pracowały, wykazały najgorsze wyniki w testach 8KB i 64KB, natomiast najlepsze w odczycie i zapisie sekwencyjnym 4K i 8K. Widzimy oczyliście najlepsze wyniki dla RAID 0, gdzie przekraczamy wartość 80 000 IOPS w przypadku zapisu sekwencyjnego 4K i 75 000 IOPS przy odczycie sekwencyjnym 4K. Trochę niższe wyniki widzimy dla 8K, jednak tutaj sytuacja się odwraca i to odczyt wykonywany jest z wyższą liczbą IOPSów. Jeśli porównamy dyski X18 pracujące w RAID 5 i RAID 10, to zobaczymy, że w większości przypadków RAID 5 sprawuje się lepiej, wyjątkiem jest zapis sekwencyjny 4K i 8K.

Jeśli jednak popatrzymy na wyniki przepustowości, sytuacja się obraca. Tutaj najlepsze wyniki uzyskujemy dla testów sekwencyjnych 64K i co ciekawe, RAID 5 w odczycie okazał się szybszy niż RAID 0. Jednak musimy mieć na uwadze, że w tym przypadku korzystamy z połączenia 10GbE, a więc przesyłanie małej porcji danych nie jest w czasie testu wysycić łącza, dlatego tak małe pojedyncze pliki były przesyłane z niższą prędkością. Dopiero przy większym pliku system ma czas na uzyskanie wyższej prędkości.

4. FC 8Gbps – IOPS

5. FC 8Gbps – MB/s

6. FC 8Gbps – IOPS w czasie

Pierwszą rzeczą, która rzuca się w oczy przy teście poprzez FC 8Gbps jest odwrócenie sytuacji w porównaniu RAID 5 i RAID 10. W tym wypadku dyski X18 pracujące w RAID 10 sprawują się lepiej, niż w przypadku konfiguracji RAID 5. Co więcej, w przypadku sekwencyjnego zapisu 4K i 8K RAID 5 okazał się znacząco mniej wydajny. Jednak porównajmy wyniki uzyskane przy użyciu FC i iSCSI:

Jak widać bezpośrednie porównanie pokazuje, że nie ma jednoznacznego zwycięzcy. W części testów dyski lepiej pracowały udostępniając przestrzeń przez FC (4K/8K odczyt i zapis w RAID 10), a w części to iSCSI okazywało się lepsze (RAID 5). Pokazuje to, że nie ma jednoznacznego przepisu na dobór dysku. Tak naprawdę wydajność dysku w danym środowisku będzie również określona przez jego przeznaczenie (a dokładniej charakterystykę jego pracy), ale nawet metoda połączenia przy udostępnianiu przestrzeni będzie miała znaczenie. Trzeba też podkreślić, że w tym bezpośrednim porównaniu mamy do czynienia z dwoma protokołami połączeniowymi, które dzieli różnica 20% przepustowości. iSCSI połączone było bezpośrednio przewodem DAC pomiędzy serwerem a QNAP NAS o przepustowości 10GbE, natomiast w przypadku połączenia FC (też bezpośredniego) mamy 8Gbps.

Decydując się na z Fibre Channel należy też pamiętać o ważnej zależności. Dobierając urządzenie, które będziemy wykorzystywać jako storage należy zwrócić uwagę na częstotliwość taktowania procesora. Dla wydajności FC bardzo duże znaczenie ma taktowanie procesora na pojedynczym rdzeniu. Przesyłając dane nie wykorzystujemy większej liczby rdzeni, więc wydajny procesor Xeon o dużej liczbie rdzeni ale niskim taktowaniu może gorzej sprawować się w takim zastosowaniu niż np. Intel i5 czy i7, które mają wyższe taktowanie, ale też mniej rdzeni. Pamiętajmy o tym, bo może się okazać, że posiadamy szybkie dyski SSD jak WD SA500, jednak przepustowość nie będzie zadowalająca. Dlatego do testów zdecydowaliśmy się wykorzystać model QNAP TS-983XU, który wyposażony jest w procesor  Intel® Xeon® E-2124 o taktowaniu 3,3 GHz (zwiększanym do 4,3 GHz).

A teraz czas na wyniki testu AJA System Tool

Test 5 – AJA System Tool

Piąty test w naszym zestawie benchmarków to AJA System Tool, a więc narzędzie służące do testowania wydajności logicznych dysków widzianych przez system operacyjny. W ten sposób możemy uruchomić testowanie zapisu i odczytu danych na wskazanych partycjach dysków lokalnych (fizycznie podłączonych do komputera lub podłączonych przez FC/iSCSI). AJA zwykle wykorzystywana jest w środowiskach  graficznych/video, ponieważ dostępne testy opierają się na zapisie/odczycie pliku będącego odpowiednikiem typowego materiału video – w różnych rozdzielczościach. Dlatego wykorzystaliśmy aplikację w naszych testach, ponieważ pokazuje wyniki w symulowanych zastosowaniach real-live, co pozwala na weryfikację, czy wcześniejsze wyniki pokryją się z tym, co pokaże AJA. Poniższa tabelka oraz wykres prezentują uzyskane wyniki dla testów z plikami 256MB, 1GB, 4GB i 16GB (największy dostępny w AJA System Tool dla plików HD, których używamy w tym przypadku).

Symulacja „real life” zapisywania i odczytywania pliku w rozdzielczości HD o wielkości od 256MB do 16GB potwierdza wyniki uzyskiwane wcześniej. Podczas pracy na udostępnionej przez dyski Seagate Exos X18 przestrzeni, wyniki różnią się w zależności od poziomu RAID, w którym te dyski pracują. Co istotne, zapis plików różnej wielkości wykonywany jest z podobną wydajnością niezależnie od poziomu RAID. Jeśli jednak popatrzymy na odczyt – zobaczymy znaczące różnice pomiędzy RAID 0 a poziomami RAID 5 i RAID 10. Jednak widzimy tutaj sytuację znaną już z wcześniejszych wyników – różnica pomiędzy RAID 5 i RAID 10 nie jest duża, bo momentami wynosi tylko kilkanaście MB/s.

W przypadku Fibre Channel rozkład wyników wygląda podobnie do iSCSI, jednak są one bardziej sugestywne. W przypadku zapisu mamy wyniki niemal takie same (różnice na poziomie 1 MB/s) – podobną sytuację widzieliśmy w teście CristalDiskMark, gdzie też wyniki były niemal takie same. Dobrze zaznaczone są też różnice w odczycie, gdzie dyski oferują najlepszą wydajność dla RAID 0 (oczywiście), jednak pomiędzy RAID 5 i RAID 10 mamy już większe różnice. Ale pamiętajmy też o tym, że test AJA obejmuje zapis sekwencyjny pliku, więc przewagę powinny mieć poziomy RAID dedykowane takiej charakterystyce, a więc np. RAID 5.

Test 6 – Kopiowanie plików – iSCSI i FC

Przejdźmy teraz do ostatniego testu, którym poddajemy dyski. Jest to kopiowanie plików z serwera do NAS przy użyciu trzech protokołów – iSCSI, FC i SMB. Dwa pierwsze obejmują wykonanie kopii na drugi dysk twardy, a więc na dysk, do którego system ma dostęp blokowy. Ostatni to kopia przez sieć wykonywana plikowo. Test tej obejmuje cztery operacje wysyłania 100GB danych w plikach o różnej wielkości – wysyłamy następujące zestawy plików:

  • 100 plików o wielkości 1GB każdy,
  • 10 plików o wielkości 10GB każdy,
  • 1 plik o wielkości 100GB każdy,
  • 102400 plików o wielkości 1MB każdy.

W tym teście możemy sprawdzić, czy testowane dyski Seagate Exos 18 będą zachowywały się podobnie, niezależnie od liczby zapisywanych na nich plików, czy nie. Na wykresie i w tabeli pokazany jest czas przesyłania plików, więc w tym przypadku im niższy słupek, tym lepiej.

Porównując dwa sposoby blokowego zapisu danych, widzimy na wykresie, że wyniki dla FC i iSCSI są do siebie bardzo podobne w kolejnych testach. Oczywiście iSCSI jest szybsze (2Gbps wyższa przepustowość), ale niezależnie od poziomu RAID i testu ta różnica jest bardzo podobna. Jedynym wyjątkiem jest test wysyłania największego zestawu, czyli 102 400 plików po 1MB. W tym przypadku iSCSI radzi sobie wyraźnie gorzej, jednak nie możemy zrzucać tutaj winy na dyski, tylko na sam protokół – gdy korzystamy z FC, zapisujemy na dyskach ten sam zestaw danych w czasie podobnym do pozostałych zestawów. Sprawdźmy jeszcze, jak oba protokoły będą się prezentowały w zestawieniu z SMB, przy czym katalog sieciowy udostępniony na NAS również dostępny jest w sieci 10GbE przy bezpośrednim połączeniu serwera i NAS’a. I znowu – im niższy słupek, tym lepiej.

I tutaj spora niespodzianka – niemal za każdym razem jesteśmy w stanie zapisywać pliki dużo szybciej przy użyciu SMB 3.0 niż iSCSI czy FC. Poza jednym wyjątkiem, każdy test dla każdego poziomu RAID pokazał, że właśnie w taki sposób uzyskamy najlepsze wyniki. To z kolei na pewno będzie interesujące dla każdego, kto planuje sposób wykonywania backupu. O ile udostępnianie przestrzeni na potrzeby wirtualizacji zdecydowanie lepiej realizować przez iSCSI lub FC (szczególnie, jeśli możemy wykorzystać FC 16Gbps czy 32Gbps), to w przypadku backupu plikowego – SMB może być lepszym wyborem. Te wyniki nie są uniwersalne i ostateczne, jednak mają skłonić do zastanowienia i przetestowania każdej możliwości, aby najlepiej dobrać konfiguracje do własnych potrzeb.

 

Podsumowanie

Mam wrażenie, że za każdym razem podczas testu dysków SSD lub HDD muszę w podsumowaniu pisać, że są one godne polecenia. I nie chodzi tutaj o jakieś potrzeby przypodobania się producentom dysków (których pozdrawiamy:) ), ale faktyczne wrażenia z testów i analizy wyników. Gdy rozpoczęliśmy testowanie dysków twardych na backupacademy wychodziliśmy z założenia, że będziemy w stanie pokazać najlepsze, najbardziej wydajne dyski do zastosowania w NAS. Rzeczywistość trochę zaskoczyła, bo każdy z testowanych do tej pory dysków był właśnie taki. Nie wiem, czy to kwestia kolejności, w jakiej otrzymujemy dyski do testów, czy zwykły przypadek, ale każdy kolejny dysk zaskakuje. I podobnie jak w przypadku Seagate IronWolf 8TB byliśmy pod wrażeniem wydajności i szybkości tych dysków (a 8TB to naprawdę spora przestrzeń), to Seagate Exos 18 okazały się jeszcze większym zaskoczeniem i jeszcze bardziej zasługują na polecenie. A podkreślmy, mówimy o dyskach o wielkości 18 (osiemnastu!) terabajtów. Czyli o przestrzeni równej ponad 131 milionom dyskietek 3,5″ (milionom!). I przy takiej przestrzeni jesteśmy w stanie uzyskać lepsze wyniki, niż przy mniej pojemnych dyskach – nawet porównując je do testowanych wcześniej IronWolf 8TB, różnica jest spora.

Musimy też mieć na uwadze, że głównie warto rozważać wydajność takich dysków z perspektywy prędkości zapisu i odczytu danych. Jeśli popatrzymy na IOPS, to oczywiście wyglądają nieźle, ale wciąż nie jest to wydajność dysków SSD. Nie jest to jednak w żadnej mierze zarzut do testowanych dysków Exos 18. Po prostu mamy tutaj zupełny inny rodzaj pamięci dyskowej, mimo, że o takim samym przeznaczeniu. Dlatego patrzymy na to, jako dwie, niezależne kategorie, i dlatego też w tekście porównywaliśmy X18 do IronWolfów.

18 TB w jednym dysku to naprawdę sporo. Jeśli takich dysków połączymy kilka – uzyskujemy ogromną przestrzeń, która jeszcze niedawno była zarezerwowana dla większych NAS-ów. Teraz nawet przy modelu 4-dyskowym jesteśmy w stanie stworzyć grupę o wielkości ponad 60 TB. Jest to jeden z powodów, dla których producent kieruje te dyski do kontentych zastosowań – centra danych, chmura, archiwa. Jeśli szukamy dysków na potrzeby przechowywania backupu czy stworzenia cyfrowego archiwum, Exosy będą świetnym wyborem. Ale niestety w przyrodzie na ma nic za darmo i tak jest też tutaj. W testach łączyliśmy ze sobą 4 dyski twarde w 4 grupy RAID. Poziom RAID 0 zupełnie pomijam, jednak przy RAID 5 i RAID 10 mieliśmy odpowiednio dostępną pojemność 3 i 2 dysków (po odjęciu przestrzeni poświęcanej na redundancję). Jeśli w takiej grupie awarii ulegnie jednej z dysków, odbudowa będzie długotrwała – szczególnie, jeśli dyski będą w większości zaplecione. W przypadku RAID 5 problem jest taki, że podczas odbudowy żaden z działających dysków nie może ulec awarii ani nawet nie może zasygnalizować błędów, ponieważ odbudowa się nie uda, a istnieje duże prawdopodobieństwo utraty danych. W przypadku RAID 10 mamy zawsze dodatkowy dysk, gorzej, jeśli oba są w jednej podgrupie. Dlatego też przy większych przestrzeniach sugeruje się używanie wyższych poziomów RAID, jak 50 czy 60, które łączą oszczędności odpowiednio RAID 5 i RAID 6, ale jednocześnie w przypadku odbudowy obciążają tylko mniejszą podgrupę dysków, a nie wszystkie. Dlaczego o tym wspominam? Ponieważ 18TB w jednym dysku może być niemałą pokusą. Jednak będzie miała sens tylko, jeśli przeanalizujemy nasze potrzeby i możliwości. Jeśli jednak potrzebujemy dużej, szybkiej przestrzeni do wydajnych urządzeń – dyski Seageate X18 będą świetnym wyborem. A jeśli chcesz sprawdzić orientacyjne czasy odbudowy dla różnych poziomów RAID – w internecie można znaleźć sporo kalkulatorów, np. ten.

A już niedługo zaprezentujemy testy kolejnych dysków. W kolejce czekają dyski WD Gold DC SN960.

Uwaga

Testy zostały przeprowadzony w sposób niezależny. Firma Seagate nie płaciła za wykonanie testów jedynie dostarczyła cztery dyski, które zostały w naszym laboratorium. Wszystkie wyniki zostały uzyskane z założeniem określonej w treści metodyki badań w hermetycznym środowisku, dlatego mogą się nieznacznie różnić od wyników uzyskiwanych w innej konfiguracji sprzętowo-programowej. Spostrzeżenia własne autorów. Wszystkie materiały należą do autorów testu, chyba, że zaznaczono inaczej.

Łukasz Milic

Z IT związany od zawsze, a przynajmniej od pierwszego komputera Atari 120XE z wrażliwym na wstrząsy magnetofonem. Doświadczony administrator sieci i systemów, od kilku lat związany z tematyką storage i backup. Miłośnik sprzętu Apple, minimalizmu i dobrego designu.

Recent Posts

Nowości backup & storage W04 2024

Zapraszamy do zestawienia nowości ze świata backup i storage z czwartego tygodnia roku 2024r. https://blocksandfiles.com/2024/01/19/pure-stac-benchmark/…

3 miesiące ago

Nowości backup & storage W03 2024

Zapraszamy do zestawienia nowości ze świata backup i storage z trzeciego tygodnia roku 2024r. https://www.servethehome.com/phison-ps2251-21-40gbps-usb4-portable-ssd-controller-launched/…

3 miesiące ago

QNAP prezentuje TBS-h574TX – NASbooka z Thunderbolt™ 4

Tajpej, Tajwan, stycznia 18, 2024 - QNAP® Systems, Inc., wiodący innowator rozwiązań informatycznych i pamięci masowej,…

3 miesiące ago

Nowości backup & storage W02 2024

Zapraszamy do zestawienia nowości ze świata backup i storage z drugiego tygodnia roku 2024r. https://www.servethehome.com/qnap-tl-d800s-review-an-8-bay-sata-jbod-das/…

4 miesiące ago

QNAP prezentuje nową serię NAS klasy Enterprise TS-hx77AXU-RP z procesorami AMD Ryzen™ serii 7000

Tajpej, Tajwan, stycznia 9, 2024 - QNAP® Systems, Inc., wiodący innowator rozwiązań informatycznych i pamięci masowej,…

4 miesiące ago

QNAP prezentuje aplikację DA Drive Analyzer 2.0 wykorzystującą AI do przewidywania awarii dysku w serwerze NAS w ciągu 24 godzin

Tajwan, Tajpej, stycznia 8, 2024 - QNAP® Systems, Inc., wiodący innowator rozwiązań informatycznych i pamięci masowych,…

4 miesiące ago