Unternehmen speichern heutzutage täglich viele wichtige Informationen in ihren Datenbanken. Sie sichern die Daten automatisch, die somit ständig neu kopiert und gespeichert werden. Das Ergebnis: Der Datenspeicher wird im Laufe der Zeit unnötig mit redundanten Datenkopien verstopft, was Geld kostet, da die Anforderungen an die Aufbewahrung steigen und die Verarbeitung immer länger dauert.
Daher ist Datendeduplizierung unverzichtbar.
Durch die Datendeduplizierung werden redundante Daten eliminiert und der Speicherbedarf reduziert. Die Methode hat sich von einer Spitzentechnologie zu einer Grundfunktion entwickelt. Sie trat erstmals im 2003 in Erscheinung, als Unternehmen aufgrund der Leistungsverbesserung vom Bandspeicher auf festplattenbasierte Backups umsteigen wollten.
Ein Jahrzehnt später ist die Datendeduplizierung Standard bei Backup-Produkten wie den NetBackup Appliances von Veritas und zu einem wertvollen Werkzeug in einer unternehmensweiten Datensicherheitsstrategie geworden.
Bei der Auswahl der richtigen Backup-Deduplizierungstechnologie für Ihr Unternehmen müssen jedoch zahlreiche Aspekte berücksichtigt werden. So z. B. die verfügbaren Deduplizierungstypen, die Funktionsweise der Technologie, die Faktoren, die sich auf die Deduplizierung auswirken, wie sie sich von der Komprimierung unterscheidet, und die Deduplizierung in Virtualisierungsumgebungen.
In diesem vollständigen Leitfaden zur Datendeduplizierung wird all dies erläutert. Außerdem wird beleuchtet, wie Veritas fortschrittliche Datendeduplizierungstechnologie in seine NetBackup Appliance-Medienserver integriert. Auf diese Weise konnte Veritas NetBackup Media Server Deduplication Pool (MSDP) mit über 80 Patenten speziell für die Deduplizierung entwickeln.
Dank MSDP ist Cloud-Deduplizierung mit Komprimierung und Verschlüsselung, kürzeren Backup-Zeiten und schnellerer Wiederherstellung in großem Maßstab möglich.
Bei der Datendeduplizierung werden redundante Datenkopien gelöscht und somit die Verarbeitungszeit eines Softwaresystems verkürzt. Jedes Backup von Softwaresystemen beinhaltet das Kopieren und Speichern großer Datensätze. Im Laufe der Zeit ist dafür eine erhebliche Menge an Datenspeicher erforderlich. Die Datendeduplizierung optimiert deshalb die Datenspeicherung, damit das Unternehmen jeweils nur eine eindeutige Dateninstanz kopiert und speichert.
Grundsätzlich werden bei der Deduplizierung alle nicht einzigartigen Datensegmente innerhalb eines Datensatzes gelöscht. Nach dieser Definition unterscheidet sich die Deduplizierung nicht wesentlich von der Komprimierung. Der eigentliche Unterschied besteht jedoch in der Datenreduzierung gegenüber historischen Daten, die Speichereinsparungen ermöglicht und das Kopieren ähnlicher Daten aus mehreren Quellen verhindert.
Die Komprimierung war vor der Deduplizierung zuvor die primäre Methode, um Speicher zu sparen. Dabei komprimierten Backup-Lösungen Datenströme, während die Daten auf ein Band oder eine Festplatte geschrieben wurden. Die Einsparungen ergaben sich jedoch nur zu diesem Zeitpunkt. Es war also möglich, eine ähnliche Datensicherung zu einem anderen Zeitpunkt zu komprimieren und dadurch eine gleichwertige Menge an Speicherplatz zu beanspruchen.
Die Deduplizierung unterscheidet sich davon, weil sie Daten segmentiert und mit einer Matrix vergleicht, die zuvor geschriebene Daten darstellt. Infolgedessen werden eindeutige Segmente an den Speicher gesendet, während nicht eindeutige Segmente einen Verweis auf die eindeutigen Instanzen ähnlicher segmentierter Daten erstellen.
Beispielsweise kann das E-Mail-System eines Unternehmens 50 Instanzen desselben Dateianhangs von je einem Megabyte (MB) enthalten. Wenn Sie die Plattform ohne Deduplizierung sichern, werden alle 50 Instanzen gespeichert, sodass 50 MB Speicherplatz nötig sind. Die Deduplizierung erlaubt jedoch nur die Speicherung einer Instanz des E-Mail-Anhangs, wobei jede nachfolgende Instanz auf die gespeicherte Kopie verweist. Somit sinkt der Speicherbedarf von 50 auf 1 MB.
Ganz einfach gesagt beginnt der Datendeduplizierungsprozess damit, dass die für die Deduplizierung vorgesehenen Daten in Chunks zerlegt werden. Ein Chunk besteht aus einem oder mehreren zusammenhängenden Datenblöcken. Wie und wo der Prozess die Chunks teilt, ist Gegenstand einzelner Patente. Sobald der Prozess jedoch eine Reihe von Chunks erstellt hat, werden diese mit allen vorherigen Chunks verglichen, die bereits vom Deduplizierungssystem erstellt und geprüft wurden.
Das System vergleicht Chunks mithilfe eines deterministischen kryptografischen Hashing-Algorithmus, der einen Hash erzeugt. Wenn die Hashs von zwei verschiedenen Chunks übereinstimmen, betrachtet sie das System als identisch, da selbst die geringsten Änderungen unterschiedliche Chunk-Hashs ergeben. Wenn beispielsweise der kryptografische Hashing-Algorithmus einen 160-Bit-Hash namens SHA-1 für einen 8 MB großen Chunk erstellt, spart das System jedes Mal fast 8 MBs ein, wenn es diesen Chunk sichert. Daher bietet die Datendeduplizierung eine erhebliche Speicherplatzersparnis.
Der Datendeduplizierungsprozess eliminiert doppelte Datenblöcke und speichert nur die eindeutigen. Er nutzt dafür Fingerabdrücke – einzigartige digitale Signaturen für Datenblöcke. Die Inline-Deduplizierungs-Engine untersucht also eingehende Datenblöcke, erstellt für jeden einen Fingerabdruck und speichert ihn in einem Hash-Speicher, wenn das System die Daten schreibt (In-Memory-Datenstruktur).
Nach der Berechnung des Fingerabdrucks führt der Prozess eine Suche im Hash-Speicher durch. Anschließend untersucht er Datenblöcke, die mit dem Duplikat-Fingerabdruck des Cache-Speichers übereinstimmen ("Spenderblock"). Wenn im Hash-Speicher ein Treffer gefunden wird, gibt es zwei Möglichkeiten:
Die Engine für die Hintergrundduplizierung funktioniert ähnlich. Sie durchsucht alle Datenblöcke im großen Maßstab, vergleicht Block-Fingerabdrücke und führt Byte-weise Vergleiche durch, um Falschmeldungen zu eliminieren und Duplikate zu entfernen. Dabei gehen keine Daten verloren.
Es ist zwar relativ einfach, eine Deduplizierungs-Engine zu erstellen, aber umso schwerer, eine leistungsoptimierte und fehlertolerante Lösung zu entwickeln, die obendrein skalierbar ist. Wie und wo die Deduplizierung stattfindet, spielt eine wesentliche Rolle bei der Servicequalität. Im Folgenden sind die Hauptarten der Deduplizierung aufgeführt:
Als am wenigsten effiziente Form der Deduplizierung erfordert die nachträgliche Deduplizierung einen großen Festplatten-Cache, um vorübergehend einen vollständigen Datensatz zu speichern, sowie einen weiteren Festplatten-Cache für die deduplizierten Daten. Die Deduplizierung erfolgt dabei erst nach erfolgreichem Schreiben von Daten auf den Zieldatenträger. Anschließend werden die Daten in einem Deduplizierungs-Repository gespeichert.
Mit dieser Methode können zwar Daten aus der Quelle abgerufen werden, ohne sich um die Verarbeitungszeit sorgen zu müssen, die Speicherplatznutzung ist jedoch ineffizient, wodurch sich Probleme mit der Datenintegrität ergeben. Aufgrund dieser Rückschläge bietet Veritas keine Funktion für nachträgliche Deduplizierung.
Die Inline-Deduplizierung wendet den Deduplizierungsprozess auf den Datenstrom an, bevor er in den Speicher geschrieben wird. Es werden nur eindeutige Datensegmente in den Speicher geschrieben.
Die quellseitige Deduplizierung ist aus Sicht des Datentransports effizient, da sie die Datenmenge, die das Unternehmen über das Netzwerk senden muss, drastisch reduziert. Glücklicherweise führt die Deduplizierungsfunktion von Veritas sowohl Ziel- als auch die Quell-Inline-Deduplizierung und -Komprimierung durch.
Weitere gängige Methoden der Datendeduplizierung:
Auch wenn die Festplattenkapazitäten kontinuierlich steigen, suchen Data Storage-Anbieter nach Methoden, wie ihre Kunden ständig wachsende Datenmengen optimal speichern können. Darüber hinaus ist es sinnvoll, Möglichkeiten zur Maximierung des Datenspeichers und der potenziellen Festplattenkapazität zu untersuchen.
Daher nutzen Speicher- und Backup-Anbieter Datenreduzierungsstrategien wie Deduplizierung und Komprimierung, damit ihre Kunden letztendlich mehr Daten speichern können, als die Kapazität ihrer Speichermedien es vermuten lässt. Wenn der Kunde z. B. fünf zu eins (5:1) von verschiedenen Datenreduzierungsmethoden profitiert, kann er theoretisch bis zu 50 TB Daten auf einem 10-TB-Speicherarray speichern.
Nehmen Sie das folgende Beispiel:
Ein Unternehmen führt eine virtuelle Desktop-Umgebung aus, die 200 identische Workstations unterstützt und ihre Daten auf einem teuren Speicher-Array speichert, das ausdrücklich zu diesem Zweck erworben wurde. Angenommen, sie führt Kopien von Windows 10, Office 2013 und 2016, ERP-Software und zahlreiche andere Softwaretools aus, die Benutzer benötigen, und jedes Workstation-Image belegt etwa 25 GB Festplattenspeicher. Die 200 Workstations verbrauchen also gemeinsam 5 Terabyte Kapazität.
Durch die Deduplizierung kann das Unternehmen eine Kopie der einzelnen virtuellen Maschinen speichern, während das Speicher-Array Verweise auf den Rest erstellt. Jedes Mal, wenn die Deduplizierungs-Engine ein identisches Datenelement findet, das bereits in der Umgebung gespeichert ist, speichert sie einen kleinen Verweis anstelle der Datenkopie, ohne die Daten neu zu kopieren. Auf diese Weise werden Speicherblöcke freigegeben.
Um zu gewährleisten, dass die geschützten Daten gut deduplizierbar sind, ist eine sorgfältige Deduplizierungsplanung erforderlich. Verschiedene Datentypen können je nach Format unterschiedliche Deduplizierungsebenen benötigen. Beispielsweise lassen sich Bilddateien, virtuelle Bilder, komprimierte Daten, verschlüsselte Daten und NDMP-Streams nicht gut deduplizieren.
Außerdem kann es bei Datenbanken mit einer hohen Änderungsrate mehr Aufwand erfordern, die Daten so darzustellen, dass optimale Deduplizierungsergebnisse erzielt werden. Der Veritas-Deduplizierungsprozess kann in NetBackup separate Richtlinien für verschiedene Datentypen implementieren, je nachdem, wie gut deduplizierbar sie sind.
Veritas hat zwei verschiedene Methoden zur Verbesserung der Datendeduplizierung entwickelt:
MSDP nutzt intelligente Stream-Handler, die Veritas-Technologie einsetzen, um den Stream für die Deduplizierung basierend auf dem Datentyp zu optimieren. Darüber hinaus sind Stream-Handler anpassungsfähig und datenbewusst, sodass sie die Speichereffizienz und Backup-Leistung basierend auf dem aufgenommenen Datentyp verbessern.
Infolgedessen lassen sich bei hohen Geschwindigkeiten mit der Segmentierung fester Länge konstant gute Deduplizierungsraten erzielen. Darüber hinaus werden Stream-Handler in Standard-Dateisystem-Backups und VMware, NetApp, EMC NDMP, Hyper-V und andere Snapshot-basierte Lösungen wie FlashBackup eingesetzt.
Veritas hat die Adaptive Variable Length (VLD) -Segmentierung in NetBackup eingeführt, um optimale Deduplizierungsergebnisse zu erzielen, wenn der Client keinen Stream-Handler verwenden kann. VLD verwendet definierte Segmentgrößenbereiche, um eine optimale Segmentierung für die deduplizierten Daten zu finden. Dadurch werden die besten Ergebnisse für intransparente Daten erzielt und die CPU-Leistung besser genutzt als bei der Segmentierung mit fester Länge.
NetBackup, NetBackup Virtual Appliances und NetBackup Appliances können einen Deduplizierungspool erstellen, der über die Shelf-Grenzen hinausgeht und die Nutzung von Laufwerk-Shelves für andere Speicher nicht einschränkt. Außerdem können dank MSDP Unternehmen zwischen einer festen Länge, einer variablen Länge und einer Deduplizierung auf einem Medienserver wählen.
Viele der heutigen Anwendungen verwenden Verschlüsselung im Ruhezustand, ein Trend, den die Sicherheitstrends der Branche noch befördern. NetBackup benötigt keine dedizierten Speicher-Shelves für die Datenspeicherung, d. h. diese Workloads werden an einen nicht deduplizierten Speicherpool geleitet, wodurch bis zu 200 % an Speicherkosten eingespart werden. Dies sollten Sie berücksichtigen, wenn Sie die Anbietertarife vergleichen.
Die Datendeduplizierung ist unerlässlich, da sie den Speicherplatzbedarf erheblich reduziert, Geld spart und die Bandbreite verringert, die bei der Übertragung von Daten zu und von Remote-Speicherorten verschwendet wird. Zudem verbessert sie die Skalierung und Effizienz beim Speichern und Abrufen von Daten aus einer Quelle. Durch die Speicherung vieler ähnlicher Daten in verschiedenen Bereichen verlangsamt sich sonst das gesamte System.
Nachfolgend sind einige weitere Vorteile aufgeführt:
Die Datendeduplizierung sucht nach doppelten Datenblöcken und platziert Verweise darauf, anstatt sie erneut zu kopieren, während die Komprimierung die Anzahl der zur Darstellung von Daten erforderlichen Speicherbits minimiert. Beide sind jedoch Bestandteil von Strategien zur Datenreduzierung, die die Speicherkapazität maximieren.
Im Folgenden sind Bereiche aufgeführt, in denen Deduplizierung anwendbar ist:
Diese Dateiserver haben zahlreiche Zwecke und können die folgenden Freigaben umfassen:
Mehrere Benutzer verfügen zusammen über zahlreiche Datenkopien und Revisionen derselben Datei, weshalb Allzweck-Dateiserver dedupliziert werden sollten. Darüber hinaus kommt der Prozess auch Freigaben in der Software-Entwicklung zugute, da viele Binärdateien von Build zu Build hauptsächlich unverändert bleiben.
VDI-Server wie Remote-Desktop-Dienste ermöglichen es Unternehmen, Mitarbeiter effizient PCs bereitzustellen. Einige Gründe für die Verwendung dieser Technologie sind:
VDI-Bereitstellungen sind hervorragende Kandidaten für die Datendeduplizierung, da die zugrunde liegenden virtuellen Festplatten praktisch identisch sind.
Virtualisierte Backup-Apps sind Backup-Ziele aufgrund der effektiven Deduplizierung zwischen Backup-Snapshots. Daher eignen sich Backup-Programme perfekt für die Deduplizierung.
Deduplizierungstechnologie hat bei Verwendung in der Backup-Infrastruktur erhebliche Einsparungen erzielt. Logischerweise führen Backup-Images jedoch letztendlich zu doppelten Daten.
Nehmen wir den häufigen Fall, dass mehrere Personen an denselben Datensätzen oder Dokumenten arbeiten. Dies kann zu teilweise oder vollständig duplizierten Daten in mehreren Systeme führen, was ineffizient und kostspielig ist. Darüber hinaus könnten mehrjährige Aufbewahrungsfristen für die Datenspeicherung zu riesigen Datenspeichermengen führen.
Anfangs waren Bandspeicher die kostengünstigste Lösung für die Datenaufbewahrung. Die Kosten für die Speicherung all dieser Daten wurden jedoch zu einem erheblichen Problem. Während Bänder günstiger sind als Array-Sets, sind sie keine ideale Lösung, da sie tendenziell zu viel physischen Speicherplatz beanspruchen.
Bandspeicher führt auch zu einem großen Bedarf an spezialisierter Verwaltungshardware im Rechenzentrum. Langfristiger Datentransport und -lagerung sowie andere logistische Herausforderungen treten auf, wenn die Bänder dorthin gebracht werden müssen, wo sie benötigt werden. Dies führt zu erheblichen Ausfallzeiten bei der Notfallwiederherstellung und hat erhebliche Auswirkungen auf die operative Fähigkeit und die Gesamtbetriebskosten.
Veritas berücksichtigte all diese Probleme bei der Entwicklung einer umfassenden Datensicherungs-Lösung in Form einer leistungsstarken und integrierten Datendeduplizierungs-Speicher-Engine. Wir haben MSDP und NetBackup integriert, um eine Komplettlösung in einer einzigen Anwendung zu schaffen, sodass unser Deduplizierungsdatenformat jetzt sehr portabel ist und neue Möglichkeiten bietet. Außerdem erleichtert es auch die Datenreplikation über mehrere Standorte und verschiedene Ziele hinweg.
Nicht zuletzt unterstützen NetBackup-Clients die clientseitige Deduplizierung, während MSDP im Gegensatz zu anderen Datendeduplizierungslösungen die Anzahl der eingehenden Streams nicht begrenzt oder Verbindungen verweigert.
Virtualisierungslösungen bieten neue Möglichkeiten – und Komplexitäten. Beispielsweise teilen sich viele virtuelle Entitäten in der Regel eine gemeinsame Kerninfrastruktur, was zu einer Vielzahl von VMs führt, bei der Tausende von Hosts Datensätze oder eine Standardvorlage gemeinsam nutzen und jeweils noch über eindeutige Elemente verfügen. Der Schutz dieser Endpunkte bei gleichzeitiger Wahrung der Unabhängigkeit der Gastsysteme könnte dazu führen, dass riesige Mengen historischer Daten gespeichert werden.
Deduplizierung trägt zum Schutz aller Daten bei. NetBackup MSDP sichert virtuelle Maschinen (VM-Daten) und bietet sofortige Betriebs- und Notfallwiederherstellbarkeit. Kunden können zudem NetBackup Appliances und NetBackup Universal Share mit MSDP nutzen, um den sofortigen Zugriff auf einzelne Dateien von VMs oder sekundären Kopien der VMs für Replikations-, Test- oder andere Zwecke zu sichern.
Mit NetBackup können Backup-Administratoren auch Daten ausschließen, die in den Auslagerungsdateien von Gastbetriebssystemen enthalten sind, wodurch weniger Daten gesichert und komprimiert werden müssen.
Somit trägt die Datendeduplizierung in virtuellen Umgebungen dazu bei, Speicherplatz zurückzugewinnen und erleichtert das Schreiben, indem nicht mehr benötigte Datensegmente entfernt werden. MSDP verfügt über ein patentiertes Verfahren namens Rebase, um die Datenbereinigung zu vereinfachen und Daten in Cloud-Umgebungen zu deduplizieren.
Ein MSDP-Speicherserver ist eine Entität, die Daten in den Speicher schreibt und daraus liest. Ein Host ist der Speicherserver und muss ein NetBackup-Medienserver sein, wobei für jeden NetBackup-Deduplizierungsknoten nur ein Host vorhanden ist. Während die Speicherserverkomponente auf einem Medienserver ausgeführt wird, handelt es sich dabei um eine separate logische Einheit. Zu den Funktionen des MSDP-Speicherservers gehören:
Die Anzahl der von Ihnen konfigurierten Speicherserver und Knoten hängt von den Speicheranforderungen ab und davon, ob Sie eine optimierte Replikation oder Duplizierung verwenden.
Mit NetBackup und Virtual Appliances können Unternehmen MSDP-Dienste bereitstellen: sicher, flexibel, skalierbar und mit einfacher Verwaltung. Eine einzelne NetBackup-Appliance unterstützt bis zu 960 TB an deduplizierten Daten, während eine virtuelle Appliance 250 TB unterstützt. Außerdem hostet jede NetBackup-Medienserver-Appliance deduplizierte und nicht deduplizierte Daten.
NetBackup Appliance führt ein einzelnes und sicheres Betriebssystem (OS) anstelle mehrerer virtueller Maschinen (VMs) mit unterschiedlichen Betriebssystemen aus. Letztere Lösung ist weniger sicher, da sie die potenzielle Angriffsfläche vergrößert.
NetBackup Appliances bieten Sicherheit und Funktionen zur Erkennung von Eindringlingen durch rollenbasierte Zugriffssteuerung und Systemic Data Center Security (SDCS). Sie beinhalten auch FIPS 140-2-Validierung ohne zusätzliche Kosten.
Darüber hinaus bieten NetBackup Appliances eine hohe Wiederherstellungsgeschwindigkeit, wie sie bei der Wiederherstellung in großem Maßstab erforderlich ist. Die Technologie unterstützt mehrere gleichzeitige Wiederherstellungen ohne Einschränkungen oder zusätzliche Anforderungen wie SSD.
Ein großes Team von Technikern und Leistungsexperten bei Veritas testet und gewährleistet die Leistung von NetBackup Appliance-Versionen.
Wenn Unternehmen ihren Geschäftsbetrieb erweitern, ist die richtige Verwaltung großer Datenmengen entscheidend, um Kosteneinsparungen und Effizienz zu erzielen. Die Datendeduplizierung ermöglicht in diesem Fall eine bestmögliche Verarbeitung.
Veritas NetBackup Appliances sind branchenführende Technologielösungen für den Schutz und die Deduplizierung von Daten. Ein weiterer Vorteil sind ihre Datenverschlüsselungs- und Komprimierungsfunktionen in einer leistungsstarken, sicheren und skalierbaren Umgebung.
NetBackup Appliances mit MSDP-Technologie ermöglichen erhebliche Einsparungen durch minimierten Backup-Platzbedarf und optimierte Datenübertragungsraten. Virtuelle NetBackup Appliances bieten zudem MSDP-Dienste auch in der Cloud und anderen virtuellen Umgebungen.