Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Configuration de la fonction de déduplication
- A propos de l'agent de déduplication à plusieurs threads MSDP
- A propos des empreintes MSDP
- Activer la prise en charge d'un MSDP de 400 To
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- À propos des pools de disques pour la déduplication NetBackup
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- Configuration des attributs client pour la déduplication côté client du MSDP
- À propos du chiffrement MSDP
- À propos du chiffrement MSDP à l'aide du service NetBackup Key Management Server
- À propos d'un chemin d'accès de réseau distinct pour la duplication et la réplication MSDP
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- À propos des politiques de cycle de vie du stockage
- Propriétés Réseau résilient
- À propos de la déduplication de longueur variable sur les clients NetBackup
- A propos du fichier de configuration pd.conf de MSDP
- A propos de l'enregistrement de la configuration de serveur de stockage MSDP
- Au sujet de la protection du catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Exécution des services MSDP avec l'utilisateur non-racine
- Exécution des commandes MSDP avec l'utilisateur non-racine
- Groupe de volumes MSDP (MVG)
- À propos du groupe de volumes MSDP
- Configuration du groupe de volumes MSDP
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- À propos du partage d'images à l'aide du cloud MSDP
- Conversion de l'image de la machine virtuelle en VHD dans Azure
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge du stockage immuable au niveau objet pour Google Cloud Storage
- À propos de la prise en charge d'AWS IAM Role Anywhere
- À propos de la prise en charge du principal de service Azure
- À propos de la prise en charge d'AWS Snowball Edge par NetBackup
- Configuration de NetBackup pour AWS Snowball Edge
- Reconfigurer NetBackup pour fonctionner avec S3
- À propos de la sauvegarde directe dans le cloud
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP sur un serveur BYO MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- API S3 sur les compartiments
- API S3 sur les objets
- API S3 sur les compartiments
- Reprise après incident dans l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- A propos de la vérification d'intégrité des données de MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et gestion de partages universels
- Présentation des partages universels
- Conditions préalables à la configuration de partages universels
- Conditions préalables et configuration matérielle requise pour configurer des partages universels sur un serveur BYO
- Configuration de l'authentification utilisateur pour un partage universel
- Gestion des partages universels
- Créer un partage universel
- Créer un partage universel
- Restauration de données à l'aide de partages universels
- Fonctions avancées des partages universels
- Orientation des données de partage universel vers un magasin d'objets
- Accélérateur de partage universel pour la déduplication de données
- Configuration d'un accélérateur de partage universel
- À propos du quota de l'accélérateur de partage universel
- Chargement des données de sauvegarde sur un partage universel avec le mode de réception
- Évolutivité des partages universels
- Gestion des services de partage universel
- Résolution des problèmes liés aux partages universels
- Configuration d'un environnement de récupération isolé (IRE)
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de l'interface utilisateur Web
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de la ligne de commande
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- À propos de la sauvegarde externe de catalogue MSDP
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Gestion du service S3 à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
À propos des éléments de configuration dans cloud.json, contentrouter.cfg et spa.cfg
Le fichier cloud.json est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/cloud.json
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
UseMemForUpload |
Si elle est définie sur Vrai, le répertoire du cache de chargement est monté dans la mémoire en tant que tmpfs. Pour le cloud haut débit, il est particulièrement utile que la vitesse de disque représente un goulot d'étranglement. Elle peut également réduire la concurrence de disque avec la LSU locale. La valeur est définie sur true si la mémoire système est suffisante. La valeur par défaut est true si la mémoire disponible est suffisante. |
true |
CachePath |
Chemin d'accès du cache. Il est créé sous un volume MSDP en fonction de l'utilisation de l'espace des volumes MSDP. Il réserve un espace au-delà duquel la LSU locale ne peut pas écrire. Il n'est généralement pas nécessaire de modifier ce chemin d'accès, sauf dans le cas où certains volumes sont beaucoup plus libres que d'autres, les différentes LSU cloud peuvent être réparties sur le même volume de disque. Pour améliorer les performances, cette option peut être modifiée afin de les distribuer à différents volumes. Ce chemin d'accès peut être modifié pour résider dans un volume autre que MSDP. |
N/A |
UploadCacheGB |
Il s'agit de l'utilisation d'espace maximale du cache de chargement. Le cache de chargement est un sous-répertoire nommé "chargement" sous CachePath. Pour améliorer les performances, il doit être défini sur une valeur supérieure à : (nombre maximal de flux d'écriture simultanés) * MaxFileSizeMB * 2. Ainsi, pour 100 flux simultanés, environ 13 Go suffisent. Remarque : La valeur initiale de UploadCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de UploadCacheGB est égale à CloudUploadCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
12 |
DownloadDataCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier de données, principalement le fichier Remarque : La valeur initiale de DownloadDataCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de DownloadDataCacheGB est égale à CloudDataCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
500 |
DownloadMetaCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier de métadonnées, principalement le fichier Remarque : La valeur initiale de DownloadMetaCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de DownloadMetaCacheGB est égale à CloudMetaCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
500 |
MapCacheGB |
Il s'agit de l'utilisation d'espace maximale du fichier Remarque : La valeur initiale de MapCacheGB dans le fichier Lorsqu'une nouvelle LSU cloud est ajoutée, la valeur de MapCacheGB est égale à CloudMapCacheSize. Cette valeur peut être modifiée ultérieurement dans le fichier |
5 |
UploadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le chargement. L'augmentation de cette valeur est particulièrement utile pour le réseau à latence élevée. |
60 |
DataDownloadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement de données. L'augmentation de cette valeur est particulièrement utile dans un réseau à latence élevée. |
40 |
MetaDownloadConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement de métadonnées. L'augmentation de cette valeur est particulièrement utile dans un réseau à latence élevée. |
40 |
MapConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour le téléchargement du fichier map. |
40 |
DeleteConnNum |
Nombre maximal de connexions simultanées au fournisseur cloud pour la suppression. L'augmentation de cette valeur est particulièrement utile pour le réseau à latence élevée. |
100 |
KeepData |
Conservez les données chargées dans le cache de données. La valeur est toujours Faux si UseMem est Vrai. |
false |
KeepMeta |
Conservez les métadonnées chargées dans le cache de métadonnées, la valeur est toujours Faux si UseMem est Vrai. |
false |
ReadOnly |
La LSU est en lecture seule. Impossible d'écrire sur cette LSU et de la supprimer. |
false |
MaxFileSizeMB |
Taille maximale du fichier bin en Mo. |
64 |
WriteThreadNum |
Nombre de threads permettant d'enregistrer des données dans le conteneur de données en parallèle afin d'améliorer les performances de l'E/S. |
2 |
RebaseThresholdMB |
Seuil de changement de base (Mo). Lorsque les données d'image dans le conteneur sont inférieures au seuil, les données d'image de ce conteneur ne seront pas utilisées pour la déduplication afin d'atteindre une bonne localité. Valeurs autorisées : 0 à la moitié de MaxFileSizeMB, 0 = désactivé |
4 |
AgingCheckContainerIntervalDay |
Intervalle de vérification d'un conteneur pour cette LSU cloud (en jours). Remarque : Pour un système mis à niveau, vous devez ajouter cet intervalle manuellement si vous souhaitez modifier la valeur d'une LSU cloud. |
180 |
Le fichier contentrouter.cfg est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/contentrouter.cfg
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
CloudDataCacheSize |
Taille du cache de données par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
500 Gio |
CloudMapCacheSize |
Taille du cache du fichier map par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
5 Gio |
CloudMetaCacheSize |
Taille du cache de métadonnées par défaut lors de l'ajout de la LSU cloud. Diminuez cette valeur si l'espace disponible est insuffisant. |
500 Gio |
CloudUploadCacheSize |
Taille du cache de chargement par défaut lors de l'ajout de la LSU cloud. La valeur minimale est 12 Gio. |
12 Gio |
MaxPredictiveCacheSize |
Spécifiez la taille maximale du cache prédictif, basée sur la mémoire système totale (espace d'échange exclu). |
20 % |
CloudBits |
Nombre d'entrées de niveau supérieur dans le cache cloud. Ce nombre est (2^CloudBits). L'augmentation de cette valeur améliore les performances du cache, aux dépens de l'utilisation de la mémoire supplémentaire. Valeur minimale = 16, valeur maximale = 48. |
Taille automatique selon MaxCloudCacheSize |
DCSCANDownloadTmpPath |
Lors de l'utilisation de dcscan afin de vérifier la LSU cloud, les données sont téléchargées dans ce dossier. Pour plus d'informations, consultez l'outil dcscan dans la section de prise en charge du cloud. |
Désactivé |
UsableMemoryLimit |
Spécifiez la taille de mémoire maximale utilisable en pourcentage. MaxCacheSize + MaxPredictiveCacheSize + MaxSamplingCacheSize + Cloud in-memory upload cache size doit être inférieur ou égal à la valeur de UsableMemoryLimit |
85 % |
MaxSamplingCacheSize |
Spécifiez la taille maximale du cache d'échantillonnage en pourcentage pour toutes les LSU. Si vous souhaitez limiter la taille maximale du cache d'échantillonnage pour une LSU cloud, vous pouvez configurer le paramètre LSUSamplingCachePercent dans Le cache d'échantillonnage est également utilisé pour implémenter la déduplication globale pour les clusters MSDP AKS et MSDP FlexScale. |
5 % |
ClusterHookEngineCount |
La déduplication globale utilise les données d'historique pour optimiser le processus de connexion au cache d'échantillonnage. Lorsque les données d'historique sont valides, seule la demande distante de recherche de cache S est envoyée aux différents nœuds ClusterHookEngineCount pour réduire les surcharges sur les nœuds. Pour désactiver cette fonction, définissez ClusterHookEngineCount sur 0. |
3 |
ClusterHookMinHistoryAgeInSecond |
Ancienneté minimale en secondes pour assurer la validité des données d'historique. Les données qui n'ont pas atteint l'ancienneté minimale ne sont pas utilisées. |
604800 |
ClusterHookMaxHistoryAgeInSecond |
Ancienneté maximale en secondes pour assurer la validité des données d'historique. Les données qui ont dépassé l'ancienneté maximale sont supprimées. |
2592000 |
L'ajout d'une nouvelle LSU cloud échoue si aucune partition ne dispose d'un espace libre supérieur à ce qui suit :
CloudDataCacheSize + CloudMapCacheSize + CloudMetaCacheSize + CloudUploadCacheSize + WarningSpaceThreshold * partition size
Utilisez la commande crcontrol --dsstat 2 pour vérifier l'espace de chaque partition.
Remarque :
Chaque LSU cloud dispose d'un répertoire de cache. Ce répertoire est créé sous un volume MSDP sélectionné en fonction de l'utilisation de l'espace disque de tous les volumes MSDP. La LSU cloud réserve de l'espace disque pour le cache de ce volume et la LSU locale ne peut pas utiliser davantage d'espace disque.
L'espace disque réservé initialement pour chaque LSU cloud correspond à la somme des valeurs de UploadCacheGB, DownloadDataCacheGB, DownloadMetaCacheGB, et de MapCacheGB dans le fichier <STORAGE>/etc/puredisk/cloud.json
. L'espace disque diminue lorsque les caches sont utilisés.
La sortie crcontrol --dsstat 2 contient une option Cache :
# crcontrol --dsstat 2
=============== Mount point 2 ===============
Path = /msdp/data/dp1/1pdvol
Data storage
Raw Size Used Avail Cache Use%
48.8T 46.8T 861.4G 46.0T 143.5G 2%
Number of containers : 3609
Average container size : 252685915 bytes (240.98MB)
Space allocated for containers : 911943468161 bytes (849.31GB)
Reserved space : 2156777086976 bytes (1.96TB)
Reserved space percentage : 4.0%
L'option Cache est l'espace disque actuellement réservé par le cloud pour ce volume. L'espace disque est la somme de l'espace réservé pour toutes les LSU cloud qui disposent de répertoires de cache sur ce volume. L'espace réellement disponible pour la LSU locale sur ce volume est Avail - Cache.
Le fichier spa.cfg est disponible à l'emplacement suivant : <STORAGE>/etc/puredisk/spa.cfg
.
Le fichier contient les paramètres suivants :
Paramètre |
Détails |
Valeur par défaut |
---|---|---|
CloudLSUCheckInterval |
Intervalle de vérification du statut de la LSU cloud en secondes. |
1 800 |
EnablePOIDListCache |
État (activé ou désactivé) du cache de la liste POID (ID d'objet de chemin d'accès). L'objet de chemin d'accès contient les métadonnées associées à l'image. |
true |