Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Configuration de la fonction de déduplication
- A propos de l'agent de déduplication à plusieurs threads MSDP
- A propos des empreintes MSDP
- Activer la prise en charge d'un MSDP de 400 To
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- À propos des pools de disques pour la déduplication NetBackup
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- Configuration des attributs client pour la déduplication côté client du MSDP
- À propos du chiffrement MSDP
- À propos du chiffrement MSDP à l'aide du service NetBackup Key Management Server
- À propos d'un chemin d'accès de réseau distinct pour la duplication et la réplication MSDP
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- À propos des politiques de cycle de vie du stockage
- Propriétés Réseau résilient
- À propos de la déduplication de longueur variable sur les clients NetBackup
- A propos du fichier de configuration pd.conf de MSDP
- A propos de l'enregistrement de la configuration de serveur de stockage MSDP
- Au sujet de la protection du catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Exécution des services MSDP avec l'utilisateur non-racine
- Exécution des commandes MSDP avec l'utilisateur non-racine
- Groupe de volumes MSDP (MVG)
- À propos du groupe de volumes MSDP
- Configuration du groupe de volumes MSDP
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- À propos du partage d'images à l'aide du cloud MSDP
- Conversion de l'image de la machine virtuelle en VHD dans Azure
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge du stockage immuable au niveau objet pour Google Cloud Storage
- À propos de la prise en charge d'AWS IAM Role Anywhere
- À propos de la prise en charge du principal de service Azure
- À propos de la prise en charge d'AWS Snowball Edge par NetBackup
- Configuration de NetBackup pour AWS Snowball Edge
- Reconfigurer NetBackup pour fonctionner avec S3
- À propos de la sauvegarde directe dans le cloud
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP sur un serveur BYO MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- API S3 sur les compartiments
- API S3 sur les objets
- API S3 sur les compartiments
- Reprise après incident dans l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- A propos de la vérification d'intégrité des données de MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et gestion de partages universels
- Présentation des partages universels
- Conditions préalables à la configuration de partages universels
- Conditions préalables et configuration matérielle requise pour configurer des partages universels sur un serveur BYO
- Configuration de l'authentification utilisateur pour un partage universel
- Gestion des partages universels
- Créer un partage universel
- Créer un partage universel
- Restauration de données à l'aide de partages universels
- Fonctions avancées des partages universels
- Orientation des données de partage universel vers un magasin d'objets
- Accélérateur de partage universel pour la déduplication de données
- Configuration d'un accélérateur de partage universel
- À propos du quota de l'accélérateur de partage universel
- Chargement des données de sauvegarde sur un partage universel avec le mode de réception
- Évolutivité des partages universels
- Gestion des services de partage universel
- Résolution des problèmes liés aux partages universels
- Configuration d'un environnement de récupération isolé (IRE)
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de l'interface utilisateur Web
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de la ligne de commande
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- À propos de la sauvegarde externe de catalogue MSDP
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Gestion du service S3 à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
Activation d'un partage universel avec magasin d'objets
Un partage universel ou un accès instantané avec magasin d'objets est activé par défaut sur AKS ou EKS. Cependant, pour que les machines virtuelles cloud utilisent la fonction de magasin d'objets, vous devez l'activer manuellement.
Activer un partage universel avec magasin d'objets
- Ajoutez l'option universal-share-object-store = 1 au fichier
etc/msdp-release
.Exemple :
cat /etc/msdp-release universal-share-object-store = 1
- Vérifiez que le nom UNIVERSAL_SHARE_OBJECT_STORE figure dans l'option extendedcapabilities.
Exemple :
nbdevconfig -getconfig -stype PureDisk -storage_server your_storage_server_name |grep UNIVERSAL_SHARE_OBJECT_STORE
- Exécutez les commandes suivantes sur le serveur de médias ou le serveur principal pour recharger les attributs du serveur de stockage :
nbdevconfig -getconfig -stype PureDisk -storage_server your_storage_server_name > /tmp/flags
nbdevconfig -setconfig -stype PureDisk -storage_server your_storage_server_name -configlist /tmp/flags
Vous pouvez ajouter les paramètres facultatifs suivants au partage universel avec magasin d'objets. Ces options sont disponibles à l'emplacement suivant : storage_path/etc/puredisk/vpfsd_config.json
Conservation du snapshot :
"cloudFullTaskInterval": 36000, : crée automatiquement le snapshot complet pour l'intervalle de partage universel et la valeur par défaut est de 10 heures. Cette entrée doit être un entier exprimé en secondes.
"cloudIncrTaskInterval": 1800, : crée automatiquement le snapshot incrémentiel pour l'intervalle de partage universel et la valeur par défaut est de 30 minutes. Cette entrée doit être un entier exprimé en secondes.
"cloudFullSnapshotRetention": 172800, : durée de conservation de la copie de snapshot complet. Lorsque la conservation expire, le snapshot complet est supprimé du stockage local et du stockage de compartiment cloud. La valeur par défaut est de 48 heures. Une valeur de conservation supérieure à 48 heures peut avoir un impact sur la récupération d'espace.
Configuration du cache de disque local :
"CloudCacheSize": 500, : taille du cache de disque local pour le partage universel et l'accès instantané. Cette option s'applique uniquement au partage universel et à l'accès instantané avec magasin d'objets. La commande vpfsd supprime cet espace du service spoold. Vous devez donc vérifier que l'espace est suffisant pour la taille du cache. Sinon, le partage universel ou l'accès instantané pour le magasin d'objets n'est pas créé. MSDP vérifie que l'espace configuré est suffisant avant la création du partage universel. Vous devez redémarrer vpfsd lorsque vous augmentez la taille du cache. Si l'espace libre est insuffisant pour la taille définie, vpfsd ne peut pas démarrer.
Une fois le partage universel ou l'accès instantané avec magasin d'objets supprimé, cet espace n'est pas automatiquement restitué à spoold. Réduisez la valeur de CloudCacheSize pour restituer de l'espace à spoold. Vous devez redémarrer vpfsd après la suppression.
"CloudCacheLowThreshold": 50, : le service vpfsd lance la récupération de l'espace du cache cloud lorsque l'espace utilisé par le cache atteint le seuil bas. Cette entrée est exprimée en pourcentage.
"CloudCacheHighThreshold": 85, : le service vpfsd arrête l'enregistrement ou le téléchargement de données lorsque l'espace utilisé par le cache atteint le seuil haut. L'enregistrement et le téléchargement de données continuent si l'espace disponible est suffisant. Cette entrée est exprimée en pourcentage.
Dimensionnement du cache de disque local :
La taille du cache dépend du nombre de volumes de données, du nombre de partages universels et du nombre total de fichiers dans tous les partages universels. Il existe deux types de stockages de données dans le cache de disque local : les métadonnées et les segments dédupliqués dans les conteneurs de données. Plus le nombre de fichiers et de volumes de données est élevé, plus le cache de disque doit être important.
Pour un million de fichiers, un cache de disque d'environ 300 Go est nécessaire pour les métadonnées du partage universel. Chaque partage universel dispose de 32 caches de conteneur de données pour chaque volume de données par défaut, et il y a 1 024 conteneurs de données pour le cache de lecture par défaut pour tous les partages universels.
L'algorithme suivant permet de calculer la taille du cache de disque :
Taille des métadonnées : 300 Go * nombre de fichiers (en millions)
Taille du conteneur de données : 64 Mo * (32 * nombre de volumes de données * nombre de partages + 1 024)
Taille totale du cache : (taille des métadonnées + taille du conteneur de données) / 0,85 (CloudCacheHighThreshold)
La taille par défaut du disque local est de 500 Go. Cette taille peut prendre en charge la plupart des scénarios. La configuration ci-dessous correspond au paramètre recommandé si le nombre de volumes de données ou de partitions est inférieur ou égal à 4. Configurez CloudCacheSize dans le fichier
vpfsd_config.json
pour paramétrer la taille du cache.Nombre de fichiers (en millions)
Nombre de partages
Nombre de partitions
Taille du cache de disque (en Go)
0,5
1
4
400
0,5
20
4
400
1
1
4
600
1
20
4
600
2
1
4
800
3
1
4
1 200
4
1
4
1 600
5
1
4
2 000
5
20
4
2 000
6
1
4
2 200
7
1
4
2 600
8
1
4
3 000
9
1
4
3 400
10
1
4
3 800
10
20
4
3 800
Gestion de snapshots :
Répertorier tous les snapshots, y compris le snapshot complet et le snapshot incrémentiel qui se trouvent dans le compartiment cloud :
/usr/openv/pdde/vpfs/bin/vpfscld - list
Créer manuellement des snapshots et charger des snapshots et des données dans le compartiment cloud :
/usr/openv/pdde/vpfs/bin/vpfscld --snapshot --share_id <share> --snap_type <full|incr>
Supprimer manuellement un snapshot du stockage local et du cloud (un snapshot expiré n'est pas récupérable) :
/usr/openv/pdde/vpfs/bin/vpfscld --expire --share_id <share> --pit <point in time>
Récupérer manuellement un snapshot à partir d'un compartiment cloud :
/usr/openv/pdde/vpfs/bin/vpfscld -recover --share_id <share> [--tgt_id <target>] [--pit <point in time>] [--force]
Configurez le nombre de copies de snapshot pour le partage universel.
Le nombre de copies de snapshot par défaut est de 2. Vous pouvez le configurer à l'aide du paramètre cloudMaxSnapshotCopy dans le fichier
vpfsd_config.json
. Si cloudMaxSnapshotCopy est défini sur 0, la fonction de création automatique de snapshots est désactivée. Plus la valeur est élevée, plus le cache de disque local nécessaire est élevé si le partage universel stocke le snapshot dans le cache de disque local.Configurez le stockage des copies de snapshot de partage universel dans le cache de disque local.
À partir de NetBackup 10.4, les snapshots ne sont plus stockés dans le cache de disque local, mais uniquement dans le compartiment cloud. Vous pouvez cependant configurer et contrôler le stockage de snapshots supplémentaires dans le cache de disque local. Si vous souhaitez tout de même conserver les snapshots dans le cache de disque local, définissez cloudKeepLocalSnapshotCopy sur true dans le fichier
vpfsd_config.json
. Cette option requiert davantage d'espace disque local.
Remarque :
pour activer le magasin d'objets d'un partage universel ou d'un accès instantané, ajoutez universal-share-object-store = 1 et instance-access-object-store = 1 à /etc/msdp-release
.