NetBackup™ 重复数据删除指南
- NetBackup 介质服务器重复数据删除选件简介
- 规划部署
- 规划 MSDP 部署
- NetBackup 命名约定
- 关于 MSDP 重复数据删除节点
- 关于 NetBackup 重复数据删除目标
- 关于 MSDP 容量支持和硬件要求
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 NetBackup 重复数据删除引擎凭据
- 关于 MSDP 的网络接口
- 关于 MSDP 端口用法
- 关于 MSDP 优化合成备份
- 关于 MSDP 和 SAN 客户端
- 关于 MSDP 优化复制和主从复制
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 配置重复数据删除
- 在 NetBackup 中配置介质服务器重复数据删除
- 配置 MSDP 客户端重复数据删除
- 关于 MSDP 重复数据删除多线程代理
- 关于 MSDP 指纹识别
- 启用对 400 TB MSDP 的支持
- 为介质服务器重复数据删除池配置存储服务器
- 关于 NetBackup 重复数据删除的磁盘池
- 配置介质服务器重复数据删除池存储单元
- 为 MSDP 客户端重复数据删除配置客户端属性
- 关于 MSDP 压缩
- 关于 MSDP 加密
- 关于使用 NetBackup 密钥管理服务器服务进行 MSDP 加密
- 关于使用外部 KMS 服务器的 MSDP 加密
- 为 MSDP 配置优化合成备份
- 关于用于 MSDP 复制和同步复制的单独网络路径
- 关于同一域内的 MSDP 优化复制
- 关于到其他域的 MSDP 复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 关于配置 MSDP 优化复制和复制带宽
- 关于大型映像优化复制和同步复制的性能优化
- 关于 MSDP 云优化复制和主从复制的性能优化
- 关于存储生命周期策略
- 关于 MSDP 备份策略配置
- 创建备份策略
- “弹性网络”属性
- 添加 MSDP 负载平衡服务器
- 关于 NetBackup 客户端上的可变长度重复数据删除
- 关于 MSDP pd.conf 配置文件
- 关于 MSDP contentrouter.cfg 文件
- 关于保存 MSDP 存储服务器配置
- 设置 MSDP 存储服务器配置
- 关于 MSDP 主机配置文件
- 删除 MSDP 主机配置文件
- 重置 MSDP 注册表
- 关于保护 MSDP 目录库
- 关于 MSDP FIPS 遵从性
- 配置 NetBackup 客户端重复数据删除以支持 MSDP 的多个接口
- 关于 MSDP 多域支持
- 关于 MSDP 应用程序用户支持
- 关于 MSDP 多域 VLAN 支持
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- 使用非 root 用户运行 MSDP 服务
- 使用非 root 用户运行 MSDP 命令
- MSDP 卷组 (MVG)
- MSDP 云支持
- 关于 MSDP 云支持
- 在 NetBackup Web UI 中创建介质服务器重复数据删除池存储服务器
- 管理 MSDP-C 的凭据
- 创建云存储单元
- 更新云 LSU 的云凭据
- 更新云 LSU 的加密配置
- 删除云 LSU
- 使用云 LSU 将数据备份到云
- 使用云 LSU 将数据复制到云
- 将 AIR 配置为使用云 LSU
- 关于向后兼容性支持
- 关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
- 云空间回收
- 关于为实现云支持而进行的工具更新
- 关于云 LSU 的灾难恢复
- 关于使用 MSDP 云的映像共享
- 关于从 Microsoft Azure 存档中的备份还原
- 关于 Cohesity Alta Recovery Vault Azure 和 Amazon
- 配置 Veritas Alta Recovery Vault Azure 和 Azure Government
- 使用 CLI 配置 Veritas Alta Recovery Vault Azure 和 Azure Government
- 配置 Veritas Alta Recovery Vault Amazon 和 Amazon Government
- 使用 CLI 配置 Cohesity Alta Recovery Vault Amazon 和 Amazon Government
- Recovery Vault 从标准身份验证迁移到基于令牌的身份验证
- 关于 MSDP 云不可篡改的 (WORM) 存储支持
- 关于 AWS IAM Role Anywhere 支持
- 关于 Azure 服务主体支持
- 关于对象存储的即时访问
- 关于 NetBackup 对 AWS Snowball Edge 的支持
- 升级到 NetBackup 10.3 和群集环境
- 关于云直连
- 关于 MSDP 延迟删除
- MSDP S3 接口
- 监视重复数据删除活动
- 管理重复数据删除
- 管理 MSDP 服务器
- 管理 NetBackup 重复数据删除引擎凭据
- 管理介质服务器重复数据删除池
- 分析备份映像的磁盘空间占用情况
- 删除备份映像
- 关于 MSDP 队列处理
- 手动处理 MSDP 事务队列
- 关于 MSDP 数据完整性检查
- 关于管理 MSDP 存储读取性能
- 关于 MSDP 存储基址重置
- 关于 MSDP 数据删除过程
- 调整 MSDP 存储分区的大小
- MSDP 还原的工作原理
- 配置 MSDP 直接还原到客户端
- 关于还原远程站点上的文件
- 关于从目标主服务器域上的备份进行还原
- 指定还原服务器
- 在 WORM 存储服务器实例上启用额外的操作系统 STIG 加固
- 对 MSDP 群集上的多流备份使用多个 MSDP 节点
- 在 MSDP 群集中启用介质服务器和 MSDP 引擎关联
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和管理通用共享
- 配置隔离恢复环境 (IRE)
- 使用 NetBackup 重复数据删除 Shell
- 关于 NetBackup 重复数据删除 Shell
- 从重复数据删除 shell 管理用户
- 从重复数据删除 shell 管理 VLAN 接口
- 管理 WORM 存储服务器上的保留策略
- 管理 WORM 存储服务器上具有保留锁定的映像
- 审核 WORM 保留更改
- 从重复数据删除 shell 保护 MSDP 目录库
- 关于外部 MSDP 目录库备份
- 从重复数据删除 shell 管理证书
- 从重复数据删除 shell 管理 FIPS 模式
- 从重复数据删除 shell 管理后量子加密 (PQC) 模式
- 从重复数据删除 shell 加密备份
- 从重复数据删除 shell 调整 MSDP 配置
- 从重复数据删除 shell 设置 MSDP 日志级别
- 从重复数据删除 shell 管理 NetBackup 服务
- 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
- 从重复数据删除 shell 管理 S3 服务
- 重复数据删除 shell 命令的多人授权
- 在 Flex Scale 和 Cloud Scale 中管理云 LSU
- 管理 MSDP 容器的 NFS 版本 3 服务器服务
- 查看分配给 MSDP 容器的 NetBackup RBAC 角色
- 故障排除
- 附录 A. 迁移到 MSDP 存储
- 附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
- 附录 C. Encryption Crawler
- 索引
为通用共享启用对象存储
默认情况下,AKS 或 EKS 上已为通用共享或即时访问启用对象存储。但是,要使云虚拟机启用对象存储功能,必须手动启用此功能。
为通用共享启用对象存储
- 将 universal-share-object-store = 1 选项添加到
etc/msdp-release文件。示例:
cat /etc/msdp-release universal-share-object-store = 1
- 验证 UNIVERSAL_SHARE_OBJECT_STORE 名称是否在 extendedcapabilities 选项中。
示例:
nbdevconfig -getconfig -stype PureDisk -storage_server your_storage_server_name |grep UNIVERSAL_SHARE_OBJECT_STORE
- 在介质服务器或主服务器上,运行以下命令以重新加载存储服务器属性:
nbdevconfig -getconfig -stype PureDisk -storage_server your_storage_server_name > /tmp/flags
nbdevconfig -setconfig -stype PureDisk -storage_server your_storage_server_name -configlist /tmp/flags
以下是可添加到启用了对象存储的通用共享的可选参数。这些选项位于:storage_path/etc/puredisk/vpfsd_config.json
快照保留:
"cloudFullTaskInterval": 36000,:自动为通用共享间隔创建完整快照,默认值为 10 小时。此条目必须是整数(以秒为单位)。
"cloudIncrTaskInterval": 1800,:自动为通用共享间隔创建增量式快照,默认值为 30 分钟。此条目必须是整数(以秒为单位)。
"cloudFullSnapshotRetention": 172800,:完整快照副本的保留时间。保留失效后,将从本地存储和云存储桶存储中删除完整快照。默认值为 48 小时。如果将保留时间设置为超过 48 小时,则可能会对空间回收产生影响。
本地磁盘缓存配置:
"CloudCacheSize": 500,:通用共享和即时访问的本地磁盘缓存大小。此选项仅适用于启用了对象存储的通用共享和即时访问。vpfsd 命令将从 spoold 服务中删除此空间量,因此必须验证是否有足够的空间可用于该缓存大小。否则,不会创建启用了对象存储的通用共享或对象存储的即时访问。在创建通用共享之前,MSDP 会验证是否有足够的配置空间。增加缓存大小时必须重新启动 vpfsd,并且要注意,如果没有足够的空间可用于该缓存大小,则 vpfsd 无法启动。
删除启用了对象存储的通用共享或即时访问后,该空间量不会自动退回到 spoold。减少 CloudCacheSize 可将部分空间退回给 spoold。删除后必须重新启动 vpfsd。
"CloudCacheLowThreshold": 50,:当缓存的空间使用量达到阈值下限时,vpfsd 服务将开始回收云缓存的空间。此条目以百分比表示。
"CloudCacheHighThreshold": 85,:当缓存的空间使用量达到阈值上限时,vpfsd 服务将停止写入或下载任何数据。当有可用空间时,数据写入和数据下载将继续。此条目以百分比表示。
本地磁盘缓存大小调整:
缓存大小取决于数据卷数、通用共享数以及所有通用共享中的文件总数。本地磁盘缓存中有两种类型的数据存储:元数据和数据容器中已进行重复数据删除的段。文件数量越多,需要的磁盘缓存就越多,数据卷数量越多,需要的磁盘缓存也越多。
对于通用共享的元数据,每 100 万个文件需要大约 300 GB 的磁盘缓存。对于数据容器缓存,默认情况下,每个数据卷的每个通用共享有 32 个数据容器缓存,并且默认情况下所有通用共享的读取缓存有 1024 个数据容器。
以下是计算磁盘缓存大小的算法:
元数据大小:300 GB * 文件数(单位为百万)
数据容器大小:64 MB *(32 * 数据卷数 * 共享数 + 1024)
总缓存大小:(元数据大小 + 数据容器大小)/0.85 (CloudCacheHighThreshold)
本地磁盘的默认大小为 500 GB。此大小可以处理大多数情况。如果数据卷或分区数为 4 或更少,则以下配置是建议设置。在
vpfsd_config.json中配置 CloudCacheSize 以调整缓存大小。文件数(以百万为单位)
共享数
分区数
磁盘缓存大小(以 GB 为单位)
0.5
1
4
400
0.5
20
4
400
1
1
4
600
1
20
4
600
2
1
4
800
3
1
4
1200
4
1
4
1600
5
1
4
2000
5
20
4
2000
6
1
4
2200
7
1
4
2600
8
1
4
3000
9
1
4
3400
10
1
4
3800
10
20
4
3800
快照管理:
列出云存储桶中包括完整快照和增量式快照在内的所有快照:
/usr/openv/pdde/vpfs/bin/vpfscld –list
手动创建快照并将快照和数据上传到云存储桶:
/usr/openv/pdde/vpfs/bin/vpfscld --snapshot --share_id <share> --snap_type <full|incr>
手动从本地和云中删除快照,请注意失效的快照不可恢复:
/usr/openv/pdde/vpfs/bin/vpfscld --expire --share_id <share> --pit <point in time>
从云存储桶手动恢复快照:
/usr/openv/pdde/vpfs/bin/vpfscld -recover --share_id <share> [--tgt_id <target>] [--pit <point in time>] [--force]
配置通用共享的快照副本数。
快照副本的默认数目是 2。可以在
vpfsd_config.json中使用 cloudMaxSnapshotCopy 参数进行配置。如果将 cloudMaxSnapshotCopy 值设置为 0,则会禁用自动创建快照的功能。如果通用共享将快照存储在本地磁盘缓存上,则较大的值需要更多本地磁盘缓存。配置通用共享将快照副本存储在本地磁盘缓存上。
在 NetBackup 10.4 及更高版本中,快照将仅存储在云存储桶中,而不是存储在本地磁盘缓存中。但是,您可以配置和控制本地磁盘缓存上其他快照的存储。如果仍希望将快照保留在本地磁盘缓存上,则必须在
vpfsd_config.json中将 cloudKeepLocalSnapshotCopy 配置为 true。它还需要更多本地磁盘空间。
注意:
要为通用共享和即时访问启用对象存储,请将 universal-share-object-store = 1 和 instance-access-object-store = 1 添加到 /etc/msdp-release。