NetBackup™ 重复数据删除指南
- NetBackup 介质服务器重复数据删除选件简介
- 快速入门
- 规划部署
- 规划 MSDP 部署
- NetBackup 命名约定
- 关于 MSDP 重复数据删除节点
- 关于 NetBackup 重复数据删除目标
- 关于 MSDP 存储容量
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 NetBackup 重复数据删除引擎凭据
- 关于 MSDP 的网络接口
- 关于 MSDP 端口用法
- 关于 MSDP 优化合成备份
- 关于 MSDP 和 SAN 客户端
- 关于 MSDP 优化复制和主从复制
- 关于 MSDP 性能
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 重复数据删除的授权
- 配置重复数据删除
- 配置 MSDP 服务器端重复数据删除
- 配置 MSDP 客户端重复数据删除
- 关于 MSDP 重复数据删除多线程代理
- 配置重复数据删除多线程代理行为
- 配置重复数据删除插件与多线程代理的交互
- 关于 MSDP 指纹识别
- 关于 MSDP 指纹缓存
- 配置 MSDP 指纹缓存行为
- 关于将远程客户端重复数据删除的 MSDP 指纹缓存设定为种子
- 在客户端上配置 MSDP 指纹缓存种子设定
- 在存储服务器上配置 MSDP 指纹缓存种子设定
- 关于采样和预测缓存
- 重建采样缓存
- 启用对 400 TB MSDP 的支持
- 关于使用 NetBackup 密钥管理服务器服务进行 MSDP 加密
- 关于使用外部 KMS 服务器的 MSDP 加密
- 为介质服务器重复数据删除池配置存储服务器
- 关于 NetBackup 重复数据删除的磁盘池
- 配置用于重复数据删除的磁盘池
- 创建数据目录以实现 400 TB MSDP 支持
- 向 400 TB 的介质服务器重复数据删除池添加卷
- 配置介质服务器重复数据删除池存储单元
- 为 MSDP 客户端重复数据删除配置客户端属性
- 禁用客户端的 MSDP 客户端重复数据删除
- 为策略中的所有客户端禁用客户端重复数据删除
- 关于 MSDP 压缩
- 关于 MSDP 加密
- 为 MSDP 本地存储卷配置加密
- 为 MSDP 云存储卷配置加密
- 在不同的平台上配置 MSDP 加密
- 关于 MSDP 的滚动数据转换机制
- 滚动数据转换模式
- MSDP 加密行为和兼容性
- 为 MSDP 配置优化合成备份
- 关于用于 MSDP 复制和同步复制的单独网络路径
- 为 MSDP 复制配置单独的网络路径
- 关于同一域内的 MSDP 优化复制
- 在同一 NetBackup 域内配置 MSDP 优化复制
- 关于到其他域的 MSDP 复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 关于配置 MSDP 优化复制和复制带宽
- 关于 MSDP 云优化复制和主从复制的性能优化
- 关于存储生命周期策略
- 关于自动映像同步复制所需的存储生命周期策略
- 创建存储生命周期策略
- 关于 MSDP 备份策略配置
- 创建备份策略
- “弹性网络”属性
- 添加 MSDP 负载平衡服务器
- 关于 NetBackup 客户端上的可变长度重复数据删除
- 使用 cacontrol 命令行实用程序管理可变长度重复数据删除
- 关于 MSDP pd.conf 配置文件
- 编辑 MSDP pd.conf 文件
- 关于 MSDP contentrouter.cfg 文件
- 关于保存 MSDP 存储服务器配置
- 保存 MSDP 存储服务器配置
- 编辑 MSDP 存储服务器配置文件
- 设置 MSDP 存储服务器配置
- 关于 MSDP 主机配置文件
- 删除 MSDP 主机配置文件
- 重置 MSDP 注册表
- 关于保护 MSDP 目录库
- 更改 MSDP 卷影目录库路径
- 更改 MSDP 卷影目录库日程表
- 更改 MSDP 目录卷影副本数
- 配置 MSDP 目录库备份
- 更新 MSDP 目录库备份策略
- 关于 MSDP FIPS 遵从性
- 配置 NetBackup 客户端重复数据删除以支持 MSDP 的多个接口
- 关于 MSDP 多域支持
- 关于 MSDP 应用程序用户支持
- 关于 MSDP 多域 VLAN 支持
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- 使用非 root 用户运行 MSDP 服务
- 使用非 root 用户运行 MSDP 命令
- MSDP 云支持
- 关于 MSDP 云支持
- 在 NetBackup Web UI 中创建介质服务器重复数据删除池(MSDP、MSDP 云)存储服务器
- 管理 MSDP-C 的凭据
- 创建云存储单元
- 更新云 LSU 的云凭据
- 更新云 LSU 的加密配置
- 删除云 LSU
- 使用云 LSU 将数据备份到云
- 使用云 LSU 将数据复制到云
- 将 AIR 配置为使用云 LSU
- 关于向后兼容性支持
- 关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
- 云空间回收
- 关于为实现云支持而进行的工具更新
- 关于云 LSU 的灾难恢复
- 关于使用 MSDP 云的映像共享
- 关于从 Microsoft Azure 存档中的备份还原
- 关于 Veritas Alta Recovery Vault Azure 和 Amazon
- 配置 Veritas Alta Recovery Vault Azure 和 Azure Government
- 使用 CLI 配置 Veritas Alta Recovery Vault Azure 和 Azure Government
- 配置 Veritas Alta Recovery Vault Amazon 和 Amazon Government
- 使用 CLI 配置 Veritas Alta Recovery Vault Amazon 和 Amazon Government
- Recovery Vault 从标准身份验证迁移到基于令牌的身份验证
- 关于 MSDP 云不可篡改的 (WORM) 存储支持
- 关于 AWS IAM Role Anywhere 支持
- 关于 Azure 服务主体支持
- 关于云中对象存储的即时访问
- 关于 NetBackup 对 AWS Snowball Edge 的支持
- 升级到 NetBackup 10.3 和群集环境
- MSDP S3 接口
- 监视重复数据删除活动
- 管理重复数据删除
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和使用通用共享
- 关于通用共享
- 通用共享的优点
- 为通用共享配置和使用 MSDP 自建 (BYO) 服务器
- 配置通用共享的 MSDP 自建 (BYO) 服务器前提条件和硬件要求
- 关于 MSDP BYO 服务器的重复数据删除 Web 服务用户和用户组
- 配置通用共享用户身份验证
- 装入通过 NetBackup Web UI 创建的通用共享
- 关于通用共享自助式恢复
- 执行通用共享自助式恢复
- 使用采集模式
- 关于具有对象存储的通用共享
- 为通用共享启用对象存储
- 具有已禁用 MSDP 数据卷的通用共享
- 关于 vpfs_stats 实用程序
- 通用共享的灾难恢复
- 更改 vpfsd 实例数
- 为通用共享启用可变长度重复数据删除 (VLD) 算法
- 升级到 NetBackup 10.4
- 关于通用共享加速器
- 为通用共享加速器准备 NetBackup
- 安装通用共享加速器
- 配置通用共享加速器
- 为通用共享加速器创建保护策略
- 关于通用共享加速器配额
- 恢复通用共享加速器的时间点
- 删除恢复的通用共享加速器
- 通用共享加速器的日志记录
- 通用共享 VPFS 实例的日志记录和报告
- 通用共享中文件系统操作的 vpfsd 日志
- 使用标记文件接口执行通用共享操作
- 配置隔离恢复环境 (IRE)
- 使用 NetBackup 重复数据删除 Shell
- 关于 NetBackup 重复数据删除 Shell
- 从重复数据删除 shell 管理用户
- 从重复数据删除 shell 管理 VLAN 接口
- 管理 WORM 存储服务器上的保留策略
- 管理 WORM 存储服务器上具有保留锁定的映像
- 审核 WORM 保留更改
- 从重复数据删除 shell 保护 NetBackup 目录库
- 关于外部 MSDP 目录库备份
- 从重复数据删除 shell 管理证书
- 从重复数据删除 shell 管理 FIPS 模式
- 从重复数据删除 shell 加密备份
- 从重复数据删除 shell 调整 MSDP 配置
- 从重复数据删除 shell 设置 MSDP 日志级别
- 从重复数据删除 shell 管理 NetBackup 服务
- 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
- 从重复数据删除 shell 管理 S3 服务
- 重复数据删除 shell 命令的多人授权
- 在 Flex Scale 和 Cloud Scale 中管理云 LSU
- 故障排除
- 附录 A. 迁移到 MSDP 存储
- 附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
- 附录 C. Encryption Crawler
- 索引
命令用法示例输出
如果未强制执行加密或未完成滚动数据转换,则 crcontrol 命令将拒绝与 Encryption Crawler 相关的操作。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/crcontrol --encconvertstate CRControlEncConvertInfoGet failed : operation not supported Please double check the server encryption settings
在 Encryption Crawler 进程之前查看数据容器的数据格式。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15
Path = /MSDP/data/3/3080.[bhd, bin]
*** Header for container 3080 ***
version : 1
flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER)
data file last position : 67001810
header file last position : 55252
source id : 2505958
retention : 0
file size : 67001810
delete space : 0
active records : 511
total records : 511
deleted records : 0
crc32 : 0x4fd80a49
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15
type of record : SO
version : 4
flags : 0x2
backup session : 1670238781
fptype : 3
size : 131118
record crc : 4164163489
data crc : 1313121942
ctime : 1642086781
offset : 66870692
digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690
KMS Enc : NO
SO crc : 85135236
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|wc
511 5621 38325
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|tail -n 5
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"在 Encryption Crawler 进程之后查看数据容器的数据格式。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15
Path = /MSDP/data/3/3080.[bhd, bin]
*** Header for container 3080 ***
version : 1
flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER)
data file last position : 67009986
header file last position : 55252
source id : 2505958
retention : 0
file size : 67009986
delete space : 0
active records : 511
total records : 511
deleted records : 0
crc32 : 0x54380a69
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15
type of record : SO
version : 4
flags : 0x2
backup session : 1670238781
fptype : 3
size : 131134
record crc : 4210300849
data crc : 1992124019
ctime : 1642086781
offset : 66878852
digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690
KMS Enc : NO
SO crc : 85331847
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|wc
511 8176 59276
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|tail -n 5
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080
1 of 1: unencrypted 0: container 3080: size 67009986使用 dcscan --so-is-encrypted 检查容器或容器列表是否已加密。
状态消息 unencrypted 0 表示已加密,unencrypted 1 表示未加密且需要加密。以下是输出示例:
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 1: container 3080: size 67001810
Veritas 建议使用报告工具 encryption_reporting 报告 MSDP 池中未加密的数据。
注意:
Flex WORM 设置不支持加密报告工具。
表:
|
操作系统和 Python 要求 |
详细信息 |
|---|---|
|
encryption_reporting 在 Linux Red Hat 安装方面的 Python 要求。 |
Python 附带了 NetBackup Red Hat 安装,无需额外的步骤即可运行 Python。 |
|
encryption_reporting 在 Windows 和 Linux SUSE BYO 安装方面的 Python 要求。 |
NetBackup 10.0 及更高版本要求您安装 Python 3.6.8-3.9.16。目前,不需要安装其他软件包。导航到包含 encryption_reporting 的目录(Windows 上的 |
默认情况下,报告工具会创建一个由两个线程组成的线程池。该工具使用这些线程来搜索未加密数据或加密未加密的数据。一个线程用于处理一个 MSDP 装入点直到完成。完成装入点的处理后,线程将返回到线程池。随后,该线程将用于处理排队等待处理的任何其他装入点。
线程数等于可以并行处理的装入点数。可以通过指定 -n 选项来增加或减少线程池的线程计数。最小线程计数为 1,最大线程计数为 20。
报告工具是 I/O 密集型工具。将线程计数增加到 MSDP 装入点总数通常会提高报告工具的性能。这也意味着,系统上的更多负载会影响备份、还原、重复数据删除和主从复制作业的性能。使用比装入点更多的线程不会提升性能。
使用报告工具搜索未加密的数据时,每个线程都会调用一个 dcscan 实例。每个 dcscan 实例使用的内存大约为 N * 160 MB。在此等式中,N 是服务器上的 MSDP 装入点数。如果共有 12 个 MSDP 装入点,则每个 dcscan 实例使用大约 1.8 GB 的内存。如果报告工具中有四个线程正在运行,则报告工具和 dcscan 进程将占用 7 GB 以上的内存。
在 Windows BYO 上,到 dcscan 的默认路径为 C:\Program Files\Veritas\pdde。如果将 dcscan 安装到其他位置,则必须使用 -d 或 --dcscan_dir 选项指定正确的位置。
encryption_reporting 不考虑使用 Encryption Crawler 加密的数据。如果您之前运行过 Encryption Crawler 来加密数据,则必须使用 -c 选项清除元数据文件(如果存在)。然后,重新运行 encryption_reporting 以获取最新信息。
在某些情况下,可能会将数据报告为 Encrypted needs KMS convert。这意味着数据已加密,但不是使用 KMS 加密的。如果您看到此消息,请使用爬网程序命令 ./crcontrol –encconvertreset 和 ./crcontrol –encconverton 通过 KMS 加密其余数据。
Veritas 建议不要在 Encryption Crawler 进程处于活动状态时运行报告工具。
./encryption_reporting -h
显示命令的帮助输出。
./encryption_reporting -n 4
脚本完成扫描后,将报告未加密和加密的数据量。使用 -n 选项可定义线程池中的线程数。默认线程数量为 2。
./encryption_reporting -r
此命令报告上次扫描期间生成的元数据文件中的未加密数据量。它不会执行扫描。
./encryption_reporting -e -n 4
使用元数据文件通过 crcontrol 提交数据容器加密命令。使用 -n 选项定义线程池中使用的线程数。默认线程数量为 2。
./encryption_reporting -c
删除扫描期间创建的元数据文件。请注意,此命令将删除上一次扫描生成的所有元数据文件。
./encryption_reporting
运行脚本以确定介质服务器上已加密和未加密的数据量。
此命令在名为
unencrypted_metadata的目录下为 MSDP 日志目录中的每个容器目录生成元数据文件。该脚本从
/etc/pdregistry.cfg中读取 configfilepath,并解析出要从fstab.cfg读取装入点的路径。它会读取fstab.cfg中的所有装入点。要确定已加密和未加密的数据量,请查找与下面所示类似的行,加粗表示强调:
2021-01-28 17:46:05,555 - root - CRITICAL - unencrypted bytes 58.53GB, encrypted bytes 14.46GB