Guide de déduplication NetBackup™
- Introduction à NetBackup Media Server Deduplication Option
- Démarrage rapide
- Planification de votre déploiement
- À propos des conditions requises en matière de stockage et de connectivité de MSDP
- À propos de la déduplication de serveur de médias NetBackup
- À propos de la déduplication directe du client NetBackup
- A propos de la déduplication client de filiale MSDP
- A propos des performances de MSDP
- A propos des gestionnaires de flux de MSDP
- Pratiques d'excellence de déploiement MSDP
- Provisionnement du stockage
- Licence de déduplication
- Configuration de la fonction de déduplication
- Configuration du comportement de l'agent de déduplication à plusieurs threads
- Configuration du comportement du cache d'empreinte MSDP
- Configuration de l'amorçage du cache d'empreinte MSDP sur le serveur de stockage
- À propos du chiffrement MSDP à l'aide du service NetBackup Key Management Server
- Configuration d'un serveur de stockage pour un pool de déduplication de serveur de médias
- Configuration d'un pool de disques pour la déduplication
- Configuration d'une unité de stockage d'un pool de déduplication de serveur de médias
- À propos de la duplication optimisée MSDP au sein du même domaine
- Configuration de la duplication optimisée MSDP dans le même domaine NetBackup
- Configuration de la réplication MSDP sur un autre domaine NetBackup
- À propos d'Auto Image Replication NetBackup
- Configuration d'une cible pour la réplication de MSDP vers un domaine distant
- Création d'une politique de cycle de vie du stockage
- Propriétés Réseau résilient
- Modification du fichier pd.conf de MSDP
- Au sujet de la protection du catalogue MSDP
- Configuration d'une sauvegarde de catalogue MSDP
- À propos de la prise en charge du stockage WORM NetBackup pour les données immuables et ineffaçables
- Exécution des services MSDP avec l'utilisateur non-racine
- Prise en charge du cloud MSDP
- A propos de la prise en charge du cloud MSDP
- Récupération d'espace cloud
- A propos de la reprise après incident pour la LSU cloud
- À propos du partage d'images à l'aide du cloud MSDP
- Conversion de l'image de la machine virtuelle en VHD dans Azure
- À propos de la prise en charge du stockage immuable (WORM) en cloud MSDP
- À propos de la prise en charge des objets immuables pour AWS S3
- À propos de la prise en charge du stockage immuable pour Google Cloud Storage
- À propos de la prise en charge d'AWS Snowball Edge par NetBackup
- Configuration de NetBackup pour AWS Snowball Edge
- Reconfigurer NetBackup pour fonctionner avec S3
- Interface S3 pour MSDP
- Configuration de l'interface S3 pour MSDP sur un serveur BYO MSDP
- Gestion des identités et des accès (IAM) pour l'interface S3 pour MSDP
- API S3 pour l'interface S3 pour MSDP
- API S3 sur les compartiments
- API S3 sur les objets
- API S3 sur les compartiments
- Reprise après incident dans l'interface S3 pour MSDP
- Surveillance de l'activité de déduplication
- Affichage des détails du travail MSDP
- Gestion de la fonction de déduplication
- Gestion des serveurs MSDP
- Gestion des informations d'authentification du moteur de déduplication NetBackup
- Gestion des pools de déduplication de serveur de médias
- Modification des propriétés d'un pool de déduplication de serveur de médias
- Configuration du comportement de la vérification de l'intégrité des données MSDP
- A propos du changement de base du stockage MSDP
- Gestion des serveurs MSDP
- Récupération MSDP
- Remplacement des hôtes MSDP
- Désinstallation MSDP
- Architecture de déduplication
- Configuration et utilisation de partages universels
- Configuration de l'authentification utilisateur pour un partage universel
- Utilisation du mode de réception
- Activation d'un partage universel avec magasin d'objets
- Configuration d'un accélérateur de partage universel
- À propos du quota de l'accélérateur de partage universel
- Configuration d'un environnement de récupération isolé (IRE)
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de l'interface utilisateur Web
- Configuration d'un environnement de récupération isolé (IRE) à l'aide de la ligne de commande
- Utilisation de NetBackup Deduplication Shell
- Gestion des utilisateurs à partir du shell de déduplication
- À propos de la sauvegarde externe de catalogue MSDP
- Gestion des certificats à partir du shell de déduplication
- Gestion des services NetBackup à partir du shell de déduplication
- Surveillance et dépannage des services NetBackup à partir du shell de déduplication
- Gestion du service S3 à partir du shell de déduplication
- Dépannage
- À propos de la consignation unifiée
- À propos de la consignation héritée
- Résolution des problèmes de configuration MSDP
- Résolution des problèmes d'exploitation de MSDP
- Résolution des problèmes liés à plusieurs domaines
- Annexe A. Migration vers le stockage MSDP
- Annexe B. Migration de Cloud Catalyst vers les niveaux cloud directs MSDP
- À propos de la migration directe de Cloud Catalyst vers les niveaux de cloud directs MSDP
- Annexe C. Robot de chiffrement
PutObject (snowball-auto-extract pour les petits fichiers)
Chaque copie entraîne une certaine surcharge. Pour accélérer le processus, il est préférable de regrouper les données à transférer dans des fichiers de plus grande taille que de multiplier les transferts de petits fichiers individuels. Pour améliorer sensiblement la vitesse de transfert des petits fichiers (taille inférieure à 1 Mo), vous pouvez les regrouper. Le regroupement des fichiers s'effectue manuellement. Si les fichiers regroupés sont placés sur le serveur S3 avec l'en-tête x-amz-meta-snowball-auto-extract, les lots sont automatiquement extraits lorsque des données sont importées sur le serveur MSDP S3.
Remarque :
l'en-tête x-amz-meta-snowball-auto-extract n'est pas accepté pour les compartiments sans gestion des versions et tous les petits fichiers regroupés partagent la même version sur le serveur S3.
Exécutez la commande tar ou gzip pour regrouper manuellement les petits fichiers, puis transférez-les vers l'interface S3 pour MSDP.
Par exemple : tar -czf <archive-file> <small files or directory of small files>
aws --endpoint https://<hostname>:8443 --profile <profile name> s3api [--ca-bundle <CA_BUNDLE_FILE>] put-object --bucket <bucket name> --key <key path> --body <xxx.tgz> --metadata snowball-auto-extract=true
Gardez les points suivants à l'esprit lors du regroupement de petits fichiers :
La taille de lot maximale est de 5 Go.
Il est recommandé de limiter à 10 000 le nombre de fichiers par lot.
Le format d'archive pris en charge est TGZ.
Syntaxe de la requête
PUT /bucket/Key HTTP/1.1 Host: msdps3.server:8443 Content-Length: ContentLength Content-MD5: ContentMD5 x-amz-meta-snowball-auto-extract:true Body
Paramètres de la requête
Bucket
Nom du compartiment.
Obligatoire : oui
Type : chaîne
Key
Nom de l'objet.
Obligatoire : oui
Type : chaîne
x-amz-object-lock-mode (stockage WORM Flex uniquement)
Spécifie le mode de verrouillage d'objet que vous voulez appliquer à cet objet.
Valeurs valides : GOUVERNANCE, CONFORMITÉ
x-amz-object-lock-retain-until-date (stockage WORM Flex uniquement)
Date et heure à laquelle vous souhaitez que le verrouillage de cet objet expire. Elle doit être formatée en tant que paramètre d'horodatage.
En-têtes de la requête
Enable snowball-auto-extract
Obligatoire : oui
Valeur : vrai
Syntaxe de la réponse
HTTP/1.1 200 ETag: ETag x-amz-version-id: VersionId
En-têtes de la requête
x-amz-version-id
ID de version de l'objet ajouté dans le compartiment.
Réponses d'erreur possibles
Success
Code d'état HTTP 200.
EntityTooLarge
La taille de l'objet dépassait la taille maximale autorisée.
Code d'état HTTP 400.
AccessDenied
La demande a été rejetée, car l'authentification utilisateur a échoué.
Code d'état HTTP 403.
NoSuchBucket
Le compartiment spécifié n'existe pas.
Code d'état HTTP 404.
InternalError
La requête a échoué en raison d'une erreur interne du serveur.
Code d'état HTTP 500.
InvalidRequest
L'erreur peut se produire pour plusieurs raisons. Pour plus de détails, reportez-vous aux messages d'erreur.
Code d'état HTTP 400.