NetBackup™ 重複排除ガイド
- NetBackup メディアサーバー重複排除オプションの概要
- クイックスタート
- 配備の計画
- MSDP の配置計画
- NetBackup 命名規則
- MSDP 重複排除ノードについて
- NetBackup 重複排除の宛先について
- MSDP ストレージの容量について
- MSDP ストレージと接続性の必要条件について
- NetBackup メディアサーバー重複排除について
- NetBackup Client Direct の重複排除について
- MSDP リモートオフィスのクライアントの重複排除について
- NetBackup Deduplication Engine のクレデンシャルについて
- MSDP のネットワークインターフェースについて
- MSDP ポートの使用について
- MSDP の最適化された合成バックアップについて
- MSDP と SAN クライアントについて
- MSDP の最適化複製とレプリケーションについて
- MSDP のパフォーマンスについて
- MSDP のストリームハンドラについて
- MSDP の配置のベストプラクティス
- ストレージのプロビジョニング
- 重複排除のライセンス
- 重複排除の構成
- MSDP サーバー側の重複排除の構成
- MSDP クライアント側の重複排除の構成
- MSDP 重複排除マルチスレッドエージェントについて
- 重複排除マルチスレッドエージェントの動作の構成
- マルチスレッドエージェントによる重複排除プラグイン通信の構成
- MSDP のフィンガープリントについて
- MSDP フィンガープリントのキャッシュについて
- MSDP フィンガープリントのキャッシュ動作の構成
- リモートクライアント重複排除の MSDP フィンガープリントキャッシュのシードについて
- クライアントでの MSDP フィンガープリントキャッシュのシードの構成
- ストレージサーバーでの MSDP フィンガープリントキャッシュのシードの構成
- サンプリングと予測キャッシュについて
- MSDP での 400 TB のサポートの有効化
- NetBackup KMS サービスを使用した MSDP 暗号化について
- 外部 KMS サーバーを使用した MSDP 暗号化について
- メディアサーバー重複排除プールのストレージサーバーの構成
- NetBackup の重複排除用ディスクプールについて
- 重複排除のディスクプールの構成
- 400 TB MSDP サポート用データディレクトリの作成
- 400 TB メディアサーバー重複排除プールへのボリュームの追加
- [メディアサーバー重複排除プール (Media Server Deduplication Pool)]ストレージユニットの構成
- MSDP クライアント側重複排除のクライアント属性の構成
- クライアントについての MSDP クライアント側の重複排除の無効化
- MSDP の圧縮について
- MSDP の暗号化について
- MSDP 圧縮および暗号化設定表
- MSDP バックアップの暗号化の構成
- MSDP の最適化複製とレプリケーションの暗号化の構成
- MSDP のローリングデータの変換メカニズムについて
- ローリングデータ変換のモード
- MSDP 暗号化の動作と互換性
- 最適化された合成バックアップの MSDP の構成
- MSDP の複製およびレプリケーションに対する個別ネットワークパスについて
- MSDP 複製とレプリケーションに対する個別ネットワークパスの構成
- 同じドメイン内での MSDP の最適化複製について
- 同じ NetBackup ドメインでの MSDP 最適化複製の構成
- 異なるドメインへの MSDP レプリケーションについて
- 異なる NetBackup ドメインへの MSDP レプリケーション設定
- NetBackup 自動イメージレプリケーションについて
- 自動イメージレプリケーションの信頼できるプライマリサーバーについて
- 信頼できるマスターサーバーの追加時に使用する証明書について
- NetBackup CA が署名した (ホスト ID ベースの) 証明書を使用した信頼できるプライマリサーバーの追加
- 外部 CA が署名した証明書を使用した信頼できるプライマリサーバーの追加
- 信頼できるプライマリサーバーの削除
- NetBackup でクラスタ化されたプライマリサーバーのノード間認証を有効化
- ソースとターゲットの MSDP ストレージサーバー間で安全に通信を行うための NetBackup CA と NetBackup ホスト ID ベースの証明書の構成
- ソース MSDP ストレージサーバーとターゲット MSDP ストレージサーバー間での安全な通信のための外部 CA の構成
- リモートドメインへの MSDP レプリケーションに対するターゲットの構成
- MSDP 最適化複製とレプリケーション帯域幅の構成について
- MSDP クラウドの最適化複製とレプリケーションのパフォーマンスチューニングについて
- ストレージライフサイクルポリシーについて
- 自動イメージレプリケーションに必要なストレージライフサイクルポリシーについて
- ストレージライフサイクルポリシーの作成
- MSDP バックアップポリシーの構成について
- バックアップポリシーの作成
- 耐性ネットワークのプロパティ
- 耐性のある接続の指定
- MSDP 負荷分散サーバーの追加
- NetBackup クライアントでの可変長の重複排除について
- MSDP pd.conf 構成ファイルについて
- MSDP pd.conf ファイルの編集
- MSDP contentrouter.cfg ファイルについて
- MSDP ストレージサーバーの構成の保存について
- MSDP ストレージサーバーの構成の保存
- MSDP ストレージサーバーの構成ファイルの編集
- MSDP ストレージサーバーの構成の設定
- MSDP ホストの構成ファイルについて
- MSDP ホストの構成ファイルの削除
- MSDP レジストリのリセット
- MSDP カタログの保護について
- MSDP シャドーカタログパスの変更
- MSDP シャドーカタログスケジュールの変更
- MSDP カタログのシャドーコピー数の変更
- MSDP カタログバックアップの設定
- MSDP カタログバックアップポリシーの更新
- MSDP の FIPS 準拠について
- MSDP の複数のインターフェースをサポートするための NetBackup クライアント側の重複排除の構成
- MSDP のマルチドメインのサポートについて
- MSDP アプリケーションのユーザーサポートについて
- MSDP マルチドメイン VLAN のサポートについて
- 変更不可および削除不可のデータの NetBackup WORM ストレージサポートについて
- MSDP クラウドのサポート
- MSDP クラウドのサポートについて
- NetBackup Web UI でのメディアサーバー重複排除プール (MSDP) ストレージサーバーの作成
- クラウドストレージユニットの作成
- クラウド LSU のクラウドクレデンシャルの更新
- クラウド LSU の暗号化構成の更新
- クラウド LSU の削除
- クラウド LSU を使用したクラウドへのデータのバックアップ
- クラウド LSU を使用したデータクラウドの複製
- クラウド LSU を使用するための AIR の構成
- 下位互換性のサポートについて
- cloud.json、contentrouter.cfg、spa.cfg 内の構成項目について
- クラウド領域の再利用
- クラウドサポートのツールの更新について
- クラウド LSU のディザスタリカバリについて
- MSDP クラウドを使用したイメージ共有について
- Microsoft Azure Archive 内のバックアップからのリストアについて
- MSDP クラウド変更不可 (WORM) ストレージのサポートについて
- MSDP クラウド管理ツールについて
- AWS S3 の変更不可オブジェクトのサポートについて
- AWS S3 互換プラットフォームでの変更不可オブジェクトのサポートについて
- S3 互換プラットフォームでのクラウド変更不可ストレージユニットの作成
- msdpcldutil ツールを使用した HCP for Cloud Scale の管理
- msdpcldutil ツールを使用した Cloudian HyperStore の管理
- msdpcldutil ツールを使用した Seagate Lyve Cloud の管理
- msdpcldutil ツールを使用した Veritas Access Cloud の管理
- msdpcldutil ツールを使用した Wasabi cloud storage の管理
- Scality RING の管理 - msdpcldutil ツールを使用した LAN
- msdpcldutil ツールを使用した EMC-ECS の管理
- msdpcldutil ツールを使用した Quantum ActiveScale の管理
- msdpcldutil ツールを使用した NetApp StorageGRID Webscale - WAN の管理
- Azure Blob Storage の変更不可ストレージのサポートについて
- クラスタ環境でのクラウド変更不可ストレージの使用について
- msdpcldutil を使用せずにバケットが作成された場合のエラーのトラブルシューティング
- ガバナンスモードを使用した変更不可イメージの削除
- Web UI での変更不可クラウドボリュームの保持範囲の値の更新
- S3 オブジェクトの永続的な削除
- クラウドのオブジェクトストレージのインスタントアクセスについて
- MSDP の S3 インターフェース
- 重複排除アクティビティの監視
- 重複排除の管理
- MSDP サーバーの管理
- NetBackup Deduplication Engine クレデンシャルの管理
- メディアサーバー重複排除プールの管理
- バックアップイメージの削除
- MSDP キュー処理について
- MSDP トランザクションキューの手動処理
- MSDP データ整合性チェックについて
- MSDP データ整合性チェックの動作の構成
- MSDP ストレージの読み込みパフォーマンスの管理について
- MSDP ストレージのリベースについて
- MSDP のデータ削除処理について
- MSDP ストレージパーティションのサイズ調整
- MSDP のリストアのしくみ
- MSDP のクライアントへの直接リストアの構成
- リモートサイトのファイルのリストアについて
- ターゲットプライマリドメインでのバックアップからのリストアについて
- リストアサーバーの指定
- MSDP のリカバリ
- MSDP ホストの置換
- MSDP のアンインストール
- 重複排除アーキテクチャ
- ユニバーサル共有の構成と使用
- ユニバーサル共有について
- ユニバーサル共有を構成するための MSDP の独自の (BYO) サーバーの構成と使用
- ユニバーサル共有を構成するための MSDP の独自の (BYO) サーバーにおける前提条件とハードウェア要件
- ユニバーサル共有のユーザー認証の構成
- NetBackup Web UI から作成したユニバーサル共有のマウント
- ユニバーサル共有の保護ポイントの作成
- ユニバーサル共有のセルフサービスリカバリについて
- ユニバーサル共有のセルフサービスリカバリの実行
- 取り込みモードの使用
- オブジェクトストアを使用したユニバーサル共有について
- オブジェクトストアを使用したユニバーサル共有の有効化
- ユニバーサル共有のディザスタリカバリ
- vpfsd インスタンス数の変更
- NetBackup 10.1.1 へのアップグレード
- 分離リカバリ環境 (IRE) の構成
- NetBackup 重複排除シェルの使用
- NetBackup 重複排除シェルについて
- 重複排除シェルからのユーザーの管理
- 重複排除シェルからの VLAN インターフェースの管理
- WORM ストレージサーバーでの保持ポリシーの管理
- WORM ストレージサーバーでの保持ロックを使用したイメージの管理
- WORM の保持に関する変更の監査
- 重複排除シェルからの証明書の管理
- 重複排除シェルからの FIPS モードの管理
- 重複排除シェルからのバックアップの暗号化
- 重複排除シェルからの MSDP 構成の調整
- 重複排除シェルからの MSDP ログレベルの設定
- 重複排除シェルからの NetBackup サービスの管理
- 重複排除シェルからの NetBackup サービスの監視およびトラブルシューティング
- トラブルシューティング
- 統合ログについて
- レガシーログについて
- NetBackup MSDP ログファイル
- MSDP インストールの問題のトラブルシューティング
- MSDP 構成の問題のトラブルシューティング
- MSDP 操作上の問題のトラブルシューティング
- MSDP サーバーに十分なメモリがあることを確認する
- MSDP バックアップまたは複製ジョブの失敗
- MSDP クライアントの重複排除が失敗する
- ボリュームのマウントが解除されると MSDP ボリュームが停止状態になる
- MSDP のエラー、遅延応答、ハングアップ
- MSDP ディスクプールを削除できない
- MSDP メディアのオープンエラー (83)
- MSDP メディアの書き込みエラー (84)
- MSDP 正常に処理されたイメージはありませんでした (191)
- MSDP ストレージの空きのない状態
- MSDP カタログバックアップのトラブルシューティング
- ストレージプラットフォーム Web サービス (spws) が起動しない
- ディスクボリューム API またはコマンドラインオプションが機能しない
- MSDP ディスクのエラーとイベントの表示
- MSDP イベントのコードとメッセージ
- Windows OS が搭載された AWS EC2 インスタンスを使用するための管理者パスワードを取得できない
- 複数ドメインの問題のトラブルシューティング
- クラウド圧縮エラーメッセージのトラブルシューティング
- 付録 A. MSDP ストレージへの移行
- 付録 B. Cloud Catalyst から MSDP ダイレクトクラウド階層化への移行
- 付録 C. Encryption Crawler
- 索引
コマンドの使用の出力例
暗号化が適用されていない、またはローリングデータ変換が完了していない場合、crcontrol コマンドは Encryption Crawler 関連の操作を拒否します。次に、出力の例を示します。
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/crcontrol --encconvertstate CRControlEncConvertInfoGet failed : operation not supported Please double check the server encryption settings
Encryption Crawler プロセスの前に、データコンテナのデータ形式を確認します。次に、出力の例を示します。
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15
Path = /MSDP/data/3/3080.[bhd, bin]
*** Header for container 3080 ***
version : 1
flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER)
data file last position : 67001810
header file last position : 55252
source id : 2505958
retention : 0
file size : 67001810
delete space : 0
active records : 511
total records : 511
deleted records : 0
crc32 : 0x4fd80a49
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15
type of record : SO
version : 4
flags : 0x2
backup session : 1670238781
fptype : 3
size : 131118
record crc : 4164163489
data crc : 1313121942
ctime : 1642086781
offset : 66870692
digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690
KMS Enc : NO
SO crc : 85135236
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|wc
511 5621 38325
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|tail -n 5
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
data format : [LZO Compressed Streamable, v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"Encryption Crawler プロセスの後で、データコンテナのデータ形式を確認します。次に、出力の例を示します。
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|head -n 15
Path = /MSDP/data/3/3080.[bhd, bin]
*** Header for container 3080 ***
version : 1
flags : 0xe000(DC_ENTRY_FULL|DC_ENTRY_SHA256|DC_ENTRY_BINHEADER)
data file last position : 67009986
header file last position : 55252
source id : 2505958
retention : 0
file size : 67009986
delete space : 0
active records : 511
total records : 511
deleted records : 0
crc32 : 0x54380a69
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-data-format 3080|tail -n 15
type of record : SO
version : 4
flags : 0x2
backup session : 1670238781
fptype : 3
size : 131134
record crc : 4210300849
data crc : 1992124019
ctime : 1642086781
offset : 66878852
digest : 7f7fd0c5d8fc64d9a7e25c7c079af86613b40d9feff9d316cdfc09c1eafb1690
KMS Enc : NO
SO crc : 85331847
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|wc
511 8176 59276
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|tail -n 5
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan
--so-data-format 3080|grep "data format"|grep -i -e "AES" -e "Encrypted"
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
data format : [AES-256-CTR Encrypted archive 256bit key LZO Compressed Streamable,
v2, window size 143360 bytes]
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080
1 of 1: unencrypted 0: container 3080: size 67009986dcscan --so-is-encrypted を使用して、コンテナまたはコンテナのリストが暗号化されているかどうかを確認します。
状態メッセージ unencrypted 0 はすでに暗号化されていることを示します。unencrypted 1 は、暗号化されておらず、暗号化が必要であることを示します。次に、出力の例を示します。
[root@rsvlmvc01vm0771 /]# /usr/openv/pdde/pdcr/bin/dcscan --so-is-encrypted 3080 1 of 1: unencrypted 1: container 3080: size 67001810
Veritas は、レポートツール encryption_reporting を使用して、MSDP プール内の暗号化されていないデータを報告することをお勧めします。
メモ:
暗号化レポートツールは、LinuxS または Flex WORM 設定ではサポートされません。
表:
|
OS および Python の要件 |
詳細 |
|---|---|
|
Linux インストールでの encryption_reporting に対する Python の要件。 |
NetBackup Red Hat インストールには Python が付属しており、Python を実行するための追加の手順はありません。 |
|
Windows BYO インストールでの encryption_reporting に対する Python の要件。 |
NetBackup 10.0 以降のバージョンでは、Python 3.6.8-3.9.6 をインストールする必要があります。現在、追加のソフトウェアパッケージをインストールする必要はありません。 Python 3.6.8-3.9.6 のインストール
|
デフォルトでは、レポートツールは 2 つのスレッドのスレッドプールを作成します。このツールは、これらのスレッドを使用して、暗号化されていないデータを検索するか、暗号化されていないデータを暗号化します。1 つのスレッドを使用して、1 つの MSDP マウントポイントが完了まで処理されます。マウントポイントの処理が完了すると、スレッドはスレッドプールに戻されます。その後、スレッドは、処理のためにキューに投入された追加のマウントポイントを処理するために使用されます。
スレッド数は、同時に処理できるマウントポイントの数と同じです。-n オプションを指定することで、スレッドプールのスレッド数を増減できます。スレッド数の最小値は 1 で、最大値は 20 です。
レポートツールは I/O を集中的に行います。MSDP マウントポイントの合計数までスレッド数を増やすと、通常は、レポートツールのパフォーマンスが向上します。また、システムに対する負荷が増え、バックアップ、リストア、重複排除、およびレプリケーションのジョブのパフォーマンスへの影響も大きくなります。マウントポイントよりも多いスレッドを使用しても、パフォーマンスの向上は見られません。
レポートツールを使用して暗号化されていないデータを検索すると、各スレッドは dcscan のインスタンスを 1 つ呼び出します。各 dcscan インスタンスは、約 N * 160 MB のメモリを使用します。この式で、N はサーバー上の MSDP マウントポイントの数を示します。合計で 12 個の MSDP マウントポイントがある場合、各 dcscan インスタンスは約 1.8 GB のメモリを使用します。レポートツールで 4 つのスレッドが実行されている場合、レポートツールと dcscan プロセスは 7 GB を超えるメモリを消費します。
Windows BYO では、dcscan へのデフォルトパスは C:\Program Files\Veritas\pdde です。他の場所に dcscan をインストールした場合は、-d オプションまたは --dcscan_dir オプションを使用して正しい場所を指定する必要があります。
encryption_reporting は、Encryption Crawler を使用して暗号化されたデータについては把握しません。以前に Encryption Crawler を実行してデータを暗号化し、メタデータファイルがある場合は、-c オプションを使用してメタデータファイルを消去する必要があります。その後、encryption_reporting を再実行して最新情報を取得します。
特定の状況では、データが「Encrypted needs KMS convert」と報告されることがあります。これは、データは暗号化されているが KMS は使用されていないことを意味します。このメッセージが表示された場合は、クローラコマンドの ./crcontrol - encconvertreset および ./crcontrol - encconverton を使用して、残りのデータを KMS で暗号化します。
Veritas は、Encryption Crawler プロセスがアクティブなときにレポートツールを実行することはお勧めしません。
./encryption_reporting -h
コマンドのヘルプの出力を表示します。
./encryption_reporting -n 4
スクリプトのスキャンが完了したら、暗号化されていないデータと暗号化されたデータの量を報告します。-n オプションを使用して、スレッドプールのスレッド数を定義します。スレッドのデフォルト数は 2 です。
./encryption_reporting -r
このコマンドは、以前のスキャン中に生成されたメタデータファイルから、暗号化されていないデータの量を報告します。スキャンは実行されません。
./encryption_reporting -e -n 4
メタデータファイルを使用して、crcontrol を介してデータコンテナの暗号化コマンドを送信します。-n オプションを使用して、スレッドプールで使用されるスレッドの数を定義します。スレッドのデフォルト数は 2 です。
./encryption_reporting -c
スキャン中に作成されたメタデータファイルを削除します。このコマンドは、前回のスキャンで生成されたすべてのメタデータファイルを削除することに注意してください。
./encryption_reporting
スクリプトを実行して、メディアサーバー上の暗号化されたデータと暗号化されていないデータの量を確認します。
このコマンドは、
unencrypted_metadataというディレクトリにある MSDP ログディレクトリに、各コンテナディレクトリのメタデータファイルを生成します。スクリプトは
/etc/pdregistry.cfgから configfilepath を読み取り、パスを解析してfstab.cfgからマウントポイントを読み取ります。fstab.cfgのすべてのマウントポイントを読み取ります。暗号化されたデータと暗号化されていないデータの量を確認するには、次のような、太字で強調された行を探します。
2021-01-28 17:46:05,555 - root - CRITICAL - unencrypted bytes 58.53GB, encrypted bytes 14.46GB