NetBackup™ 重复数据删除指南
- NetBackup 介质服务器重复数据删除选件简介
- 规划部署
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 配置重复数据删除
- 关于 MSDP 重复数据删除多线程代理
- 关于 MSDP 指纹识别
- 启用对 400 TB MSDP 的支持
- 为介质服务器重复数据删除池配置存储服务器
- 关于 NetBackup 重复数据删除的磁盘池
- 配置介质服务器重复数据删除池存储单元
- 为 MSDP 客户端重复数据删除配置客户端属性
- 关于 MSDP 加密
- 关于使用 NetBackup 密钥管理服务器服务进行 MSDP 加密
- 关于用于 MSDP 复制和同步复制的单独网络路径
- 关于同一域内的 MSDP 优化复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 关于存储生命周期策略
- “弹性网络”属性
- 关于 NetBackup 客户端上的可变长度重复数据删除
- 关于 MSDP pd.conf 配置文件
- 关于保存 MSDP 存储服务器配置
- 关于保护 MSDP 目录库
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- 使用非 root 用户运行 MSDP 服务
- 使用非 root 用户运行 MSDP 命令
- MSDP 卷组 (MVG)
- MSDP 云支持
- 关于 MSDP 云支持
- 云空间回收
- 关于云 LSU 的灾难恢复
- 关于使用 MSDP 云的映像共享
- 关于 MSDP 云不可篡改的 (WORM) 存储支持
- 关于 AWS IAM Role Anywhere 支持
- 关于 Azure 服务主体支持
- 关于 NetBackup 对 AWS Snowball Edge 的支持
- 关于云直连
- MSDP S3 接口
- 监视重复数据删除活动
- 管理重复数据删除
- 管理 MSDP 服务器
- 管理 NetBackup 重复数据删除引擎凭据
- 管理介质服务器重复数据删除池
- 关于 MSDP 数据完整性检查
- 关于 MSDP 存储基址重置
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和管理通用共享
- 配置隔离恢复环境 (IRE)
- 使用 NetBackup 重复数据删除 Shell
- 从重复数据删除 shell 管理用户
- 关于外部 MSDP 目录库备份
- 从重复数据删除 shell 管理证书
- 从重复数据删除 shell 管理 NetBackup 服务
- 从重复数据删除 shell 监控 NetBackup 服务并对其进行故障排除
- 从重复数据删除 shell 管理 S3 服务
- 故障排除
- 附录 A. 迁移到 MSDP 存储
- 附录 B. 从 Cloud Catalyst 迁移到 MSDP 直接云分层
- 附录 C. Encryption Crawler
关于采样和预测缓存
MSDP 使用内存(最大为在 MaxCacheSize 中配置的大小)缓存指纹,以实现高效的重复数据删除查找。NetBackup 版本 10.1 中引入的新指纹缓存查找数据方案可减少内存使用率。它将当前内存缓存拆分为两部分,采样缓存 (S-cache) 和预测缓存 (P-cache)。S-cache 可缓存来自每个备份的一定百分比的指纹,并用于从先前备份的样本中查找类似数据以进行重复数据删除。P-cache 可缓存最有可能在不久的将来用于重复数据删除查找的指纹。
在作业开始时,来自上次备份的一小部分指纹将作为初始种子设定加载到 P-cache 中。使用 P-cache 完成指纹查找以查找重复项,并从 S-cache 样本中搜索查找失误,以查找先前备份数据的可能匹配项。如果找到,则会将部分匹配的备份指纹加载到 P-cache 中以用于将来的重复数据删除。
对于具有 MSDP 非 BYO 部署(包括 Flex、Flex WORM、Flex Scale、NetBackup Appliance、AKS 和 EKS 部署)的本地和云存储卷,启用了 S-cache 和 P-cache 指纹查找方法。对于 MSDP BYO 平台的纯云卷,也启用了此方法。对于支持纯云卷的平台,本地卷仍使用原始缓存查找方法。可以在配置文件 contentrouter.cfg
中的 Cache 部分下找到 S-cache 和 P-cache 配置参数。
从 NetBackup 10.2 开始,本地存储的 S-cache 和 P-cache 指纹查找方法将与 Flex、Flex WORM 和 NetBackup Appliance 的新设置结合使用。升级不会更改 S-cache 和 P-cache 指纹查找方法。
S-cache 和 P-cache 的默认值:
配置 | 默认值 |
---|---|
MaxCacheSize | 512 MiB |
MaxPredictiveCacheSize | 40% |
MaxSamplingCacheSize | 20% |
| true |
| true |
对于使用 P/S 缓存的系统,本地卷和云卷共享相同的 S-cache 和 P-cache 大小,并且总内存受 UsableMemoryLimit 的限制。
S-cache 大小由后端 MSDP 容量或后端数据中的指纹数决定。假设平均段大小为 32 KB,则每 TB 后端容量的 S-cache 大小约为 100 MB。P-cache 大小由并行作业数和传入数据的数据区域或工作集决定。每个数据流的工作集为 250 MB(约 500 万个指纹)。例如,100 个并行流最少需要 25 GB (100*250MB) 内存。对于具有多个数据流和大型数据集的某些应用程序,工作集可能更大。由于 P-cache 用于指纹重复数据删除查找,并且所有加载到 P-cache 中的指纹都将保留在那里,直到达到其分配的容量,P-cache 大小越大,潜在的查找命中率越高,内存使用率也就越高。大小不足的 S-cache 或 P-cache 会导致重复数据删除率降低,而大小过大会增加内存成本。