Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Configuration de la fonction de déduplication
- A propos de l'agent de déduplication à plusieurs threads MSDP
- A propos des empreintes MSDP
- Activer la prise en charge d'un MSDP de 400 To
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- À propos des pools de disques pour la déduplication NetBackup
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- Configuration des attributs client pour la déduplication côté client du MSDP
- À propos du chiffrement MSDP
- À propos du chiffrement MSDP à l'aide du service NetBackup Key Management Server
- À propos d'un chemin d'accès de réseau distinct pour la duplication et la réplication MSDP
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- À propos des politiques de cycle de vie du stockage
- Propriétés Réseau résilient
- À propos de la déduplication de longueur variable sur les clients NetBackup
- A propos du fichier de configuration pd.conf de MSDP
- A propos de l'enregistrement de la configuration de serveur de stockage MSDP
- Au sujet de la protection du catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Exécution des services MSDP avec l'utilisateur non-racine
- Exécution des commandes MSDP avec l'utilisateur non-racine
- Groupe de volumes MSDP (MVG)
- À propos du groupe de volumes MSDP
- Configuration du groupe de volumes MSDP
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- À propos du partage d'images à l'aide du cloud MSDP
- Conversion de l'image de la machine virtuelle en VHD dans Azure
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge du stockage immuable au niveau objet pour Google Cloud Storage
- À propos de la prise en charge d'AWS IAM Role Anywhere
- À propos de la prise en charge du principal de service Azure
- À propos de la prise en charge d'AWS Snowball Edge par NetBackup
- Configuration de NetBackup pour AWS Snowball Edge
- Reconfigurer NetBackup pour fonctionner avec S3
- À propos de la sauvegarde directe dans le cloud
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP sur un serveur BYO MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- API S3 sur les compartiments
- API S3 sur les objets
- API S3 sur les compartiments
- Reprise après incident dans l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- A propos de la vérification d'intégrité des données de MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et gestion de partages universels
- Présentation des partages universels
- Conditions préalables à la configuration de partages universels
- Conditions préalables et configuration matérielle requise pour configurer des partages universels sur un serveur BYO
- Configuration de l'authentification utilisateur pour un partage universel
- Gestion des partages universels
- Créer un partage universel
- Créer un partage universel
- Restauration de données à l'aide de partages universels
- Fonctions avancées des partages universels
- Orientation des données de partage universel vers un magasin d'objets
- Accélérateur de partage universel pour la déduplication de données
- Configuration d'un accélérateur de partage universel
- À propos du quota de l'accélérateur de partage universel
- Chargement des données de sauvegarde sur un partage universel avec le mode de réception
- Évolutivité des partages universels
- Gestion des services de partage universel
- Résolution des problèmes liés aux partages universels
- Configuration d'un environnement de récupération isolé (IRE)
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de l'interface utilisateur Web
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de la ligne de commande
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- À propos de la sauvegarde externe de catalogue MSDP
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Gestion du service S3 à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
Exemples de sorties d'utilisation de commande
Lorsque le chiffrement n'est pas appliqué, ou si la conversion progressive des données n'est pas terminée, la commande crcontrol rejette les opérations liées à Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/crcontrol --encconvertstate CRControlEncConvertInfoGet failed : operation not supported Please double check the server encryption settings
Vérifiez le format de données d'un conteneur de données avant de démarrer le processus Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67001810 header file last position : 55252 source id : 2505958 retention : 0 file size : 67001810 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x4fd80a49 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131118 record crc : 4164163489 data crc : 1313121942 ctime : 1642086781 offset : 66870692 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85135236 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 5621 38325 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] data format : [LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"
Vérifiez le format de données d'un conteneur de données après avoir démarré le processus Encryption Crawler. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15 Path = /MSDP/data/3/3080.[bhd, bin] *** Header for container 3080 *** version : 1 flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER) data file last position : 67009986 header file last position : 55252 source id : 2505958 retention : 0 file size : 67009986 delete space : 0 active records : 511 total records : 511 deleted records : 0 crc32 : 0x54380a69 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15 type of record : SO version : 4 flags : 0x2 backup session : 1670238781 fptype : 3 size : 131134 record crc : 4210300849 data crc : 1992124019 ctime : 1642086781 offset : 66878852 digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690 KMS Enc : NO SO crc : 85331847 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|wc 511 8176 59276 [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|tail -n 5 data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted" data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable, v2, window size 143360 bytes] [root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 0: container 3080: size 67009986
Utilisez la commande dcscan --so-is-encrypted pour vérifier si un conteneur ou une liste de conteneurs sont chiffrés.
Le message d'état unencrypted 0 indique que le ou les conteneurs sont déjà chiffrés, et unencrypted 1 qu'ils doivent être chiffrés. Voici un exemple de sortie :
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 1: container 3080: size 67001810
Cohesity recommande d'utiliser l'outil de génération de rapports encryption_reporting pour faire du reporting sur les données non chiffrées dans le pool MSDP.
Remarque :
L'outil de génération de rapports de chiffrement n'est pas pris en charge sur les configurations WORM Flex.
Tableau :
Conditions requises pour Python en fonction du système d'exploitation |
Détails |
---|---|
Conditions requises pour Python pour encryption_reporting sur les installations Linux Red Hat |
Python étant préinstallé sur les installations NetBackup Red Hat, son exécution ne nécessite aucune action supplémentaire. |
Conditions requises pour Python pour encryption_reporting sur les installations BYO Windows et Linux SUSE |
NetBackup 10.0 et les versions ultérieures requièrent l'installation de Python 3.6.8 à 3.9.16. Actuellement, aucune installation de package logiciel supplémentaire n'est requise. Accédez au répertoire contenant encryption_reporting ( |
Par défaut, l'outil de génération de rapports crée un pool composé de deux threads et utilise ces threads pour rechercher des données non chiffrées ou pour chiffrer les données non chiffrées. Un thread est utilisé pour traiter entièrement un point de montage MSDP. Une fois le traitement d'un point de montage terminé, le thread est renvoyé au pool de threads, puis est utilisé pour traiter tout point de montage supplémentaire en attente de traitement.
Le nombre de threads est égal au nombre de points de montage pouvant être traités simultanément. Vous pouvez augmenter ou diminuer le nombre de threads du pool de threads en spécifiant l'option -n. Ce nombre doit être compris entre 1 et 20.
L'outil de génération de rapports est intensif en E/S. En faisant en sorte que le nombre de threads soit égal au nombre total de points de montage MSDP, vous pouvez généralement améliorer les performances de l'outil de génération de rapports. Le système sera également soumis à une charge plus importante, ce qui peut affecter les performances des travaux de sauvegarde, de restauration, de duplication et de réplication. En revanche, un nombre de threads supérieur au nombre de points de montage n'entraîne aucune amélioration des performances.
Lorsque l'outil de génération de rapports est utilisé pour rechercher les données non chiffrées, chaque thread appelle une instance dcscan. Chaque instance dcscan utilise approximativement N * 160 Mo de mémoire, où N correspond au nombre de points de montage MSDP sur le serveur. Pour un total de 12 points de montage MSDP, chaque instance dcscan utilise environ 1,8 Go de mémoire. Si quatre threads sont en cours d'exécution dans l'outil de génération de rapports, l'outil de génération de rapports et les processus dcscan consomment plus de 7 Go de mémoire.
Sur un système BYO Windows, le chemin d'accès par défaut de dcscan est C:\Program Files\Veritas\pdde
. Si vous avez installé dcscan à un emplacement différent, utilisez l'option -d ou --dcscan_dir pour spécifier l'emplacement correct.
La commande encryption_reporting ne tient pas compte des données chiffrées à l'aide de Encryption Crawler. Si vous avez exécuté Encryption Crawler précédemment pour chiffrer des données, effacez les fichiers de métadonnées existants avec l'option -c. Réexécutez ensuite la commande encryption_reporting pour obtenir des informations à jour.
Dans certains cas, certaines données peuvent être signalées comme Données chiffrées nécessitant une conversion KMS
. Cela signifie que ces données sont chiffrées, mais qu'elles n'ont pas été chiffrées avec le KMS. Si ce message s'affiche, utilisez les commandes ./crcontrol - encconvertreset et ./crcontrol - encconverton du robot pour chiffrer les données restantes à l'aide du KMS.
Cohesity déconseille d'exécuter l'outil de génération de rapports lorsque le processus Encryption Crawler est actif.
./encryption_reporting -h
Affiche la sortie d'aide de la commande.
./encryption_reporting -n 4
Indique le volume de données non chiffrées et chiffrées une fois que le script a terminé l'analyse. Utilisez l'option -n pour définir le nombre de threads dans le pool de threads. Le nombre de threads par défaut est 2.
./encryption_reporting -r
Cette commande indique la quantité de données non chiffrées à partir des fichiers de métadonnées générés lors d'une analyse précédente. Aucune analyse n'est effectuée.
./encryption_reporting -e -n 4
Utilise les fichiers de métadonnées pour envoyer des commandes de chiffrement de conteneur de données via crcontrol. Utilisez l'option -n pour définir le nombre de threads dans le pool de threads. Le nombre de threads par défaut est 2.
./encryption_reporting -c
Supprime les fichiers de métadonnées créés lors de l'analyse. Notez que cette commande supprime tous les fichiers de métadonnées générés lors de l'analyse précédente.
./encryption_reporting
Exécute le script pour déterminer le volume de données chiffrées et non chiffrées sur le serveur de médias.
Cette commande génère des fichiers de métadonnées pour chaque répertoire de conteneur dans le répertoire des journaux MSDP sous un répertoire appelé
unencrypted_metadata
.Le script lit la propriété configfilepath du fichier
/etc/pdregistry.cfg
et analyse le chemin d'accès pour lire les points de montage spécifiés dans le fichierfstab.cfg
(il lit tous les points de montage spécifiés dansfstab.cfg
).Pour déterminer le volume de données chiffrées et non chiffrées, recherchez le contenu écrit en gras dans l'exemple de ligne ci-dessous :
2021-01-28 17:46:05,555 - root - CRITICAL - unencrypted bytes 58.53GB, encrypted bytes 14.46GB