Deduplikacja danych może się odbywać na trzech poziomach: pliku, bloku i bajtu. Każdy z poziomów definiuje inny rozmiar fragmentu danych, które później są sprawdzane przez system pod kontem wystąpienia duplikacji. Algorytm funkcji skrótu generuje unikalne identyfikatory dla każdego przeanalizowanego fragmentu danych. Identyfikatory są przechowywane w indeksie i wykorzystywane w procesie deduplikacji – duplikujące się fragmenty mają ten sam identyfikator funkcji skrótu.

Teoretycznie im bardziej dokładna analiza, tym większy współczynnik deduplikacji. W praktyce, wszystkie trzy poziomy mają swoje zalety. Deduplikacja na poziomie plików jest najłatwiejsza do wdrożenia. Nie jest ona obciążając dla serwera ponieważ wygenerowanie funkcji skrótu dla pliku jest relatywnie prosty. Jednakże, jest druga strona medalu: jeżeli w pliku zmieni się tylko jeden bajt, to identyfikator funkcji skrótu zostanie zmieniony. W wyniku czego oba pliki zostaną zapisane na serwerze.


Deduplikacja na poziomie blokowym jak sama nazwa wskazuje porównuje bloki. Każdy plik jest podzielony na bloki o tej samej lub różnej wielkości, a następnie wyliczane są funkcje skrótu, które potem są porównywane w celu wyłapania identycznych bloków. Jeżeli dokonamy drobnej zmiany w dużym pliku, wtedy system na serwerze zapisze tylko zmieniony fragment. Średnio deduplikacji plików umożliwia oszczędność miejsca na dysku 5:1, podczas gdy deduplikacja blokowa osiąg współczynnik 20:1.

Deduplikacja blokowa wymaga większej mocy obliczeniowej niż deduplikacja plikowa, ponieważ liczba identyfikatorów, która musi zostać wyliczona dla bloków jest zdecydowanie większa. Co za tym idzie ilość indeksów jaką należy przeanalizować też jest więcej. Deduplikacja blokowa o zmiennej wielkości bloku jest nawet bardziej obciążająca. Innym minusem tego typu deduplikacji jest to, że czasami następuje kolizja funkcji skrótu tzn. dla dwóch różnych bloków wyliczany jest identyczny identyfikator. Gdy kolizja ma miejsce, wtedy system nie zapisze nowych danych, ponieważ będzie myślał, że ten blok z danymi już jest zapisany na dysku.

Deduplikacja na poziomie bajtów nie wymaga większej ilości mocy obliczeniowej niż deduplikacja blokowa – w tym przypadku dane są porównywane w najbardziej prymitywny sposób – bajt po bajcie. Sprawia to, że analiza danych jest bardziej dokładna. Niedogodnością może być czas trwania deduplikacji bajtowej, który jest dość długi i dlatego z reguły jest stosowany deduplikacji typu post-process. Polega ona na tym, że na dysku najpierw zapisuje się wszystkie dane, a dopiero później są one analizowane przez system. Jest jeszcze deduplikacja typu In-line, wykorzystywana np. z deduplikacją blokową, wtedy bloki danych są analizowane w locie i po ich przetworzeniu na dysk zapisywane są tylko nowe bloki.

Jesteś ciekawy jaki rodzaj deduplikacji wykorzystuje Rsync, to zapraszamy do lektury:

https://www.backupacademy.pl/rsync-i-de-duplikacja-podczas-przesylania-kopii-zapasowych

 

Grzegorz Bielawski

Syn, mąż i ojciec dwójki dzieci. Zawsze mówi co myśli i później często żałuje. Posiada kota i rybki, ale woli psy. Obecnie pracownik firmy QNAP, za kołnierz nigdy nie wylewa :). Lubi polemizować, ale tylko na argumenty.

Recent Posts

QNAP prezentuje QTS 5.2 Beta zwiększający bezpieczeństwo systemu i danych

Tajwan, Tajpej, kwietnia 29, 2024 - Firma QNAP® Systems, Inc. (QNAP) zaprezentowała dzisiaj QTS 5.2 w wersji beta,…

2 dni ago

QNAP Security Center aktywnie monitoruje twoje dane

Tajwan, Tajpej, kwietnia 30, 2024 - Firma QNAP® Systems, Inc. (QNAP) udostępniła dzisiaj Security Center z nową funkcją…

2 dni ago

Nowości backup & storage W17 2024

Zapraszamy do zestawienia nowości ze świata backup i storage: https://blocksandfiles.com/2024/04/23/quantum-introduces-all-flash-dxi-deduping-backup-target-appliances/ INFO: Quantum wprowadza rozwiązania deduplikacji…

1 tydzień ago

Nowości backup & storage W16 2024

Zapraszamy do kolejnego zestawienia nowości ze świata backup i storage: https://blocksandfiles.com/2024/04/14/expanding-tape-archive-qstar-technologies/ INFO: QStar Technologies wprowadza…

2 tygodnie ago

Qsirch 5.4.0 Beta rewolucjonizuje wyszukiwanie przez wykorzystanie sztucznej inteligencji

Tajpej, Tajwan, kwietnia 18, 2024 – QNAP® Systems, Inc., wiodący innowator rozwiązań informatycznych, sieciowych i pamięci…

2 tygodnie ago

Nowości backup & storage W15 2024

Zapraszamy do kolejnego zestawienia nowości ze świata backup i storage: https://www.servethehome.com/yulinca-2g06110gs-5-port-2-5gbe-1-port-10g-switch-review/ INFO: Test przełącznika YuLinca…

3 tygodnie ago