Veritas NetBackup™ Deduplication 指南
- NetBackup Media Server Deduplication Option 简介
- 快速入门
- 规划部署
- 规划 MSDP 部署
- NetBackup 命名约定
- 关于 MSDP 重复数据删除节点
- 关于 NetBackup 重复数据删除目标
- 关于 MSDP 存储容量
- 关于 MSDP 存储和连接要求
- 关于 NetBackup 介质服务器重复数据删除
- 关于 NetBackup Client Direct 重复数据删除
- 关于 MSDP 远程办公客户端重复数据删除
- 关于 NetBackup Deduplication Engine 凭据
- 关于 MSDP 的网络接口
- 关于 MSDP 端口用法
- 关于 MSDP 优化合成备份
- 关于 MSDP 和 SAN 客户端
- 关于 MSDP 优化复制和主从复制
- 关于 MSDP 性能
- 关于 MSDP 流处理程序
- MSDP 部署最佳做法
- 置备存储
- 重复数据删除的授权
- 配置重复数据删除
- 配置 MSDP 服务器端重复数据删除
- 配置 MSDP 客户端重复数据删除
- 关于 MSDP 重复数据删除多线程代理
- 配置重复数据删除多线程代理行为
- 配置重复数据删除插件与多线程代理的交互
- 关于 MSDP 指纹识别
- 关于 MSDP 指纹缓存
- 配置 MSDP 指纹缓存行为
- 关于将远程客户端重复数据删除的 MSDP 指纹缓存设定为种子
- 在客户端上配置 MSDP 指纹缓存种子设定
- 在存储服务器上配置 MSDP 指纹缓存种子设定
- 启用对 250 TB MSDP 的支持
- 关于使用 NetBackup KMS 服务的 MSDP 加密
- 关于使用外部 KMS 服务器的 MSDP 加密
- 为介质服务器重复数据删除池配置存储服务器
- 配置 PureDisk 重复数据删除池的存储服务器
- 关于 NetBackup 重复数据删除的磁盘池
- 配置用于重复数据删除的磁盘池
- 为 250 TB MSDP 支持创建数据目录
- 向 250 TB 的介质服务器重复数据删除池添加卷
- 配置介质服务器重复数据删除池存储单元
- 为 MSDP 客户端重复数据删除配置客户端属性
- 禁用客户端的 MSDP 客户端重复数据删除
- 关于 MSDP 压缩
- 关于 MSDP 加密
- MSDP 压缩和加密设置表
- 为 MSDP 备份配置加密
- 为 MSDP 优化复制配置加密
- 关于 MSDP 的滚动数据转换机制
- 滚动数据转换模式
- MSDP 加密行为和兼容性
- 为 MSDP 配置优化合成备份
- 关于用于 MSDP 重复和复制的单独网络路径
- 为 MSDP 复制配置单独的网络路径
- 关于同一域内的 MSDP 优化复制
- 在同一 NetBackup 域内配置 MSDP 优化复制
- 关于到其他域的 MSDP 复制
- 配置以不同 NetBackup 域为目标的 MSDP 复制
- 关于配置 MSDP 优化复制和复制带宽
- 关于 MSDP 云优化复制和主从复制的性能优化
- 关于存储生命周期策略
- 关于自动映像复制所需的存储生命周期策略
- 创建存储生命周期策略
- 关于 MSDP 备份策略配置
- 创建备份策略
- “弹性网络”属性
- 指定弹性连接
- 添加 MSDP 负载平衡服务器
- 关于 NetBackup 客户端上的可变长度重复数据删除
- 关于 MSDP pd.conf 配置文件
- 编辑 MSDP pd.conf 文件
- 关于 MSDP contentrouter.cfg 文件
- 关于保存 MSDP 存储服务器配置
- 保存 MSDP 存储服务器配置
- 编辑 MSDP 存储服务器配置文件
- 设置 MSDP 存储服务器配置
- 关于 MSDP 主机配置文件
- 删除 MSDP 主机配置文件
- 重置 MSDP 注册表
- 关于保护 MSDP 目录库
- 更改 MSDP 卷影目录库路径
- 更改 MSDP 卷影目录库日程表
- 更改 MSDP 目录卷影副本数
- 配置 MSDP 目录库备份
- 更新 MSDP 目录库备份策略
- 关于 MSDP FIPS 遵从性
- 配置 NetBackup 客户端重复数据删除以支持 MSDP 的多个接口
- 关于 MSDP 多域支持
- 关于 MSDP 多域 VLAN 支持
- 关于 NetBackup WORM 存储对不可变和不可删除数据的支持
- 使用 NetBackup Cloud Catalyst 配置云的重复数据删除
- 使用 NetBackup Cloud Catalyst 将经过重复数据删除的数据上载到云
- Cloud Catalyst 要求和限制
- 将 Linux 介质服务器配置为 Cloud Catalyst 存储服务器
- 配置用于云的重复数据删除的 Cloud Catalyst 存储服务器
- 关于 Cloud Catalyst esfs.json 配置文件
- 关于 Cloud Catalyst 缓存
- 控制使用 Cloud Catalyst 时流向云的数据流量
- 配置 Cloud Catalyst 源控制或目标控制优化复制
- 将 Cloud Catalyst 存储服务器配置为优化复制的源
- 淘汰 Cloud Catalyst 云存储
- NetBackup Cloud Catalyst 工作流程
- Cloud Catalyst 的灾难恢复
- MSDP 云支持
- 监视重复数据删除活动
- 管理重复数据删除
- 恢复 MSDP
- 替换 MSDP 主机
- 卸载 MSDP
- 重复数据删除体系结构
- 配置和使用通用共享
- 故障排除
- 关于统一日志记录
- 关于旧式日志记录
- NetBackup MSDP 日志文件
- 对 MSDP 安装问题进行故障排除
- 对 MSDP 配置问题进行故障排除
- 对 MSDP 操作问题进行故障排除
- 查看 MSDP 磁盘错误和事件
- MSDP 事件代码和消息
- 对 Cloud Catalyst 问题进行故障排除
- 无法获取管理员密码,因此无法使用运行 Windows 操作系统的 AWS EC2 实例
- 对多域问题进行故障排除
- 附录 A. 迁移到 MSDP 存储
- 索引
关于 cloud.json、contentrouter.cfg 和 spa.cfg 中的配置项
cloud.json 文件位于以下位置:<STORAGE>/etc/puredisk/cloud.json。
该文件具有以下参数:
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
UseMemForUpload |
如果设置为 true,则上载缓存目录将在内存中作为 tmpfs 装入。对于磁盘速度是瓶颈的高速云,这尤其有用。此外,还可以减少与本地 LSU 的磁盘竞争。如果系统内存足够,则将该值设置为 true。 如果有足够的可用内存,则默认值为 true。 |
true |
|
CachePath |
缓存的路径。根据 MSDP 卷的空间使用量,在 MSDP 卷下进行创建。将保留一些空间,在该空间范围之外,本地 LSU 无法写入。通常无需更改此路径,除非在某些情况下,一些卷的可用空间多于其他卷,多个云 LSU 可以分布到同一磁盘卷。出于性能考虑,您可能需要更改此选项,以便将其分布到不同的卷。可以将此路径更改为驻留在非 MSDP 卷中。 |
不适用 |
|
UploadCacheGB |
该参数是上载缓存的最大空间使用量。上载缓存是 CachePath 下名为 upload 的子目录。出于性能考虑,应将其设置为大于以下值: (最大并行写入流数) * MaxFileSizeMB * 2。 因此,如果并行流数为 100,约 13 GB 就足够了。 注意:
添加新的云 LSU 时,UploadCacheGB 的值等于 CloudUploadCacheSize。稍后可以在 |
12 |
|
DownloadDataCacheGB |
该参数是数据文件(主要是 注意:
添加新的云 LSU 时,DownloadDataCacheGB 的值等于 CloudDataCacheSize。稍后可以在 |
500 |
|
DownloadMetaCacheGB |
该参数是元数据文件(主要是 注意:
添加新的云 LSU 时,DownloadMetaCacheGB 的值等于 CloudMetaCacheSize。稍后可以在 |
500 |
|
MapCacheGB |
该参数是用于满足 MD5 类型指纹兼容性的 注意:
添加新的云 LSU 时,MapCacheGB 的值等于 CloudMapCacheSize。稍后可以在 |
5 |
|
UploadConnNum |
用于上载的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
60 |
|
DataDownloadConnNum |
用于下载数据的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
40 |
|
MetaDownloadConnNum |
用于下载元数据的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
40 |
|
MapConnNum |
用于下载映射的与云提供商的最大并行连接数。 |
40 |
|
DeleteConnNum |
用于删除的与云提供商的最大并行连接数。增加此值对于高延迟网络尤其有用。 |
100 |
|
KeepData |
将上载的数据保存到数据缓存。如果 UseMem 为 true,则该值始终为 false。 |
false |
|
KeepMeta |
将上载的元数据保存到元数据缓存,如果 UseMem 为 true,则该值始终为 false。 |
false |
|
ReadOnly |
LSU 为只读,无法在此 LSU 上写入和删除。 |
false |
|
MaxFileSizeMB |
bin 文件的最大大小(以 MB 为单位)。 |
64 |
|
WriteThreadNum |
用于将数据并行写入数据容器以提高 IO 性能的线程数。 |
2 |
|
RebaseThresholdMB |
基址重置阈值 (MB),当容器中的映像数据小于该阈值时,此容器中的所有映像数据都不会用于重复数据删除以实现良好的局部性。允许的值:0 到 MaxFileSizeMB 的一半,0 = 已禁用 如果分区的可用空间没有超过以下空间,则添加新的云 LSU 将失败: CloudDataCacheSize + CloudMapCacheSize + CloudMetaCacheSize + CloudUploadCacheSize + WarningSpaceThreshold * partition size 使用 crcontrol --dsstat 2 --verbosecloud 命令可检查每个分区的空间。 |
4 |
|
UsableMemoryLimit |
指定最大可用内存大小(以百分比表示)。 MaxCacheSize + MaxCloudCacheSize + 云内存中上载缓存大小必须小于或等于值 UsableMemoryLimit |
80% |
注意:
每个云 LSU 都有一个缓存目录。该目录是根据所有 MSDP 卷的磁盘空间使用量在所选 MSDP 卷下创建的。云 LSU 保留了一些磁盘空间用于从该卷进行缓存,而本地 LSU 无法利用更多磁盘空间。
每个云 LSU 的初始保留磁盘空间是 <STORAGE>/etc/puredisk/cloud.json 文件中 UploadCacheGB, DownloadDataCacheGB, DownloadMetaCacheGB, 和 MapCacheGB 值的总和。使用缓存时,磁盘空间会减少。
crcontrol --dsstat 2 --verbosecloud 输出中有一个 Cache 选项:
# crcontrol --dsstat 2 --verbosecloud
=============== Mount point 2 ===============
Path = /msdp/data/dp1/1pdvol
Data storage
Raw Size Used Avail Cache Use%
48.8T 46.8T 861.4G 46.0T 143.5G 2%
Number of containers : 3609
Average container size : 252685915 bytes (240.98MB)
Space allocated for containers : 911943468161 bytes (849.31GB)
Reserved space : 2156777086976 bytes (1.96TB)
Reserved space percentage : 4.0%
Cache 选项是云为该卷当前保留的磁盘空间。磁盘空间是该卷上具有缓存目录的所有云 LSU 的保留空间的总和。此卷上的本地 LSU 的实际可用空间为 Avail – Cache 。
contentrouter.cfg 文件位于以下位置:<STORAGE>/etc/puredisk/contentrouter.cfg。
该文件具有以下参数:
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
CloudDataCacheSize |
添加云 LSU 时的默认数据缓存大小。 如果没有足够的可用空间,请减小此值。 |
500 GiB |
|
CloudMapCacheSize |
添加云 LSU 时的默认映射缓存大小。 如果没有足够的可用空间,请减小此值。 |
5 GiB |
|
CloudMetaCacheSize |
添加云 LSU 时的默认元数据缓存大小。 如果没有足够的可用空间,请减小此值。 |
500 GiB |
|
CloudUploadCacheSize |
添加云 LSU 时的默认上载缓存大小。 最小值为 12 GiB。 |
12 GiB |
|
MaxCloudCacheSize |
指定最大云缓存大小(以百分比表示)。该值基于总系统内存,不包括交换空间。 |
20% |
|
CloudBits |
云缓存中的顶级条目数。此数量为 (2^CloudBits)。增加此值可提高缓存性能,但会占用额外的内存。最小值 = 16,最大值 = 48。 |
根据 MaxCloudCacheSize 自动调整大小 |
|
DCSCANDownloadTmpPath |
使用 dcscan 检查云 LSU 时,数据将下载到此文件夹中。有关详细信息,请参见云支持部分中的 dcscan 工具。 |
已禁用 |
spa.cfg 文件位于以下位置:<STORAGE>/etc/puredisk/spa.cfg。
该文件具有以下参数:
|
参数 |
详细信息 |
默认值 |
|---|---|---|
|
CloudLSUCheckInterval |
检查云 LSU 状态的间隔(以秒为单位)。 |
1800 |