NetBackup™ for Hadoop 管理者ガイド

Last Published:
Product(s): NetBackup & Alta Data Protection (11.0)
  1. 概要
    1.  
      NetBackup を使用した NetBackup for Hadoop データの保護
    2.  
      NetBackup for Hadoop データのバックアップ
    3.  
      NetBackup for Hadoop データのリストア
    4.  
      NetBackup for NetBackup for Hadoop の用語
    5.  
      制限事項
  2. NetBackup 用 NetBackup for Hadoop プラグインの前提条件およびベストプラクティス
    1.  
      Hadoop プラグインの配備について
    2. NetBackup for Hadoop プラグインの前提条件
      1.  
        オペレーティングシステムとプラットフォームの互換性
      2.  
        NetBackup の NetBackup for Hadoop プラグインのライセンス
    3.  
      NetBackup for Hadoop クラスタの準備
    4.  
      NetBackup for Hadoop プラグインを配備するためのベストプラクティス
  3. NetBackup for Hadoop の構成
    1.  
      NetBackup for NetBackup for Hadoop の構成について
    2. バックアップホストの管理
      1.  
        NetBackup プライマリサーバーの許可リストに NetBackup クライアントを含める
      2.  
        バックアップホストとしての NetBackup アプライアンスの設定
    3.  
      NetBackup での NetBackup for Hadoop クレデンシャルの追加
    4. NetBackup for Hadoop 構成ファイルを使用した NetBackup for Hadoop プラグインの構成
      1.  
        高可用性 NetBackup for Hadoop クラスタ用の NetBackup の構成
      2.  
        NetBackup for Hadoop クラスタのカスタムポートの設定
      3.  
        バックアップホストのスレッド数の設定
      4.  
        バックアップホストのストリーム数の構成
      5.  
        バックアップホストの分散アルゴリズムとゴールデン比率の構成
      6. NetBackup および Hadoop クラスタ間での SSL 対応 (HTTPS) 通信の設定
        1.  
          NetBackup サーバーとクライアントの ECA_TRUST_STORE_PATH
        2.  
          NetBackup サーバーとクライアントの ECA_CRL_PATH
        3.  
          サーバーとクライアントの HADOOP_SECURE_CONNECT_ENABLED
        4.  
          NetBackup サーバーとクライアントの HADOOP_CRL_CHECK
        5.  
          bp.conf ファイルのパラメータ値の例
    5.  
      Kerberos を使用する NetBackup for Hadoop クラスタの設定
    6.  
      並列リストアの hadoop.conf の構成
    7.  
      Hadoop クラスタ用の BigData ポリシーの作成
    8.  
      NetBackup for Hadoop クラスタのディザスタリカバリ
  4. Hadoop のバックアップとリストアの実行
    1. NetBackup for Hadoop クラスタのバックアップについて
      1.  
        Kerberos 認証を使用する NetBackup for Hadoop クラスタのバックアップおよびリストア操作実行の前提条件
      2.  
        NetBackup for Hadoop クラスタのバックアップを作成するためのベストプラクティス
      3.  
        NetBackup for Hadoop クラスタのバックアップ
    2. NetBackup for Hadoop クラスタのリストアについて
      1.  
        Hadoop クラスタをリストアするためのベストプラクティス
      2. 同じ Hadoop クラスタ上での Hadoop データのリストア
        1.  
          同じ Hadoop クラスタ上での Hadoop データのリストア
      3.  
        代替の Hadoop クラスタ上での Hadoop データのリストア
    3.  
      バックアップおよびリストア時のパフォーマンスを向上するためのベストプラクティス
  5. トラブルシューティング
    1.  
      NetBackup for NetBackup for Hadoop の問題のトラブルシューティングについて
    2.  
      NetBackup for Hadoop のデバッグログについて
    3. NetBackup for Hadoop データのバックアップ問題のトラブルシューティング
      1.  
        Hadoop クレデンシャルのバックアップ操作と検証が失敗する
      2.  
        バックアップ操作がエラー 6609 で失敗する
      3.  
        バックアップ操作がエラー 6618 で失敗した
      4.  
        バックアップ操作がエラー 6647 で失敗する
      5.  
        Hadoop で拡張属性 (xattrs) とアクセス制御リスト (ACL) がバックアップまたはリストアされない
      6.  
        バックアップ操作がエラー 6654 で失敗する
      7.  
        バックアップ操作が bpbrm エラー 8857 で失敗する
      8.  
        バックアップ操作がエラー 6617 で失敗する
      9.  
        バックアップ操作がエラー 6616 で失敗する
      10.  
        バックアップ操作がエラー 84 で失敗する
      11.  
        コンテナベースの NetBackup Appliance を再起動した後、NetBackup 構成ファイルおよび証明書ファイルが保持されない
      12.  
        バックアップイメージの選択でイメージが表示されているにもかかわらず、リストア時に増分バックアップイメージが表示されない
      13.  
        子バックアップジョブの 1 つがキューに投入された状態になる
    4. NetBackup for Hadoop データのリストア問題のトラブルシューティング
      1.  
        リストアが 2850 エラーコードで失敗する
      2.  
        NetBackup の NetBackup for Hadoop のリストアジョブが部分的に完了する
      3.  
        Hadoop で拡張属性 (xattrs) とアクセス制御リスト (ACL) がバックアップまたはリストアされない
      4.  
        Hadoop プラグインファイルがバックアップホスト上にない場合、リストア操作が失敗する
      5.  
        リストアが bpbrm エラー 54932 で失敗する
      6.  
        リストア操作が bpbrm エラー 21296 で失敗する
      7.  
        Kerberos を使用した Hadoop のリストアジョブがエラー 2850 で失敗する
      8.  
        ディザスタリカバリ後に構成ファイルがリカバリされない

バックアップおよびリストア時のパフォーマンスを向上するためのベストプラクティス

SSL 環境 (HTTPS) を使用した Hadoop のバックアップとリカバリ中に、スループットが低下したり、CPU 使用率が高くなるなどのパフォーマンスの問題が発生します。この問題は、Hadoop の内部通信が暗号化されていない場合に発生します。Hadoop の内部通信とパフォーマンスを改善するため、HDFS 構成を HDFS クラスタで正しく調整する必要があります。また、これにより、バックアップとリカバリのパフォーマンスも向上させることができます。

  • バックアップとリストアのパフォーマンスを向上させるために、NetBackup では、使用中の Apache または Hadoop 分散からの Hadoop 構成の推奨事項に従うことをお勧めします。

  • クラスタ内で Hadoop 暗号化を有効にしている場合は、使用中の Apache または Hadoop 分散の推奨事項に従って、Hadoop クラスタ内のデータ転送に使用する正しい暗号とビット長を選択します。

  • データブロック転送中に AES 128 をデータ暗号化に使用すると、バックアップおよびリストア時の NetBackup のパフォーマンスが向上します。

  • また、バックアップのパフォーマンスを向上させるために、Hadoop クラスタで複数のフォルダをバックアップする場合、バックアップホストの数を増やすこともできます。最大のメリットを得るには、Hadoop クラスタ内のフォルダごとに最大 1 つのバックアップホストを設定できます。

  • また、バックアップ操作中に NetBackup が Hadoop クラスタからデータをフェッチするために使用されるバックアップホストごとのスレッド数を増やすこともできます。数十 GB のサイズ範囲のファイルがある場合は、パフォーマンスを向上するためにスレッドの数を増やすことができます。スレッドのデフォルト数は 4 です。

  • 並列ストリームに使用されるバックアップホストごとのストリーム数を増やすこともできます。

  • 配置に最適なデータ配布アルゴリズムのいずれかを選択できます。

    • データセットに含まれる少数の大きいファイルで、配布アルゴリズム 1 を使用します。

    • データセットに含まれる多数の小さいファイルで、配布アルゴリズム 2 を使用します。

    • サイズが非常に大きい少数のファイルとサイズが小さい多数のファイルがデータセットに混在する場合は、配布アルゴリズムとゴールデン比率の適切な組み合わせを使用します。次の例を参照してください。

表: 多数の小さいファイルと少数の大きいファイルの例

データサイズ

バックアップホストの数

スレッド数

ストリーム数

配布アルゴリズム

ゴールデン比率

最大 1 TB

4

16

5

4

80

最大 50 TB

5

32

5

4

80

> 50 TB

6

32

5

4

80

詳しくは、『Apache Hadoop のマニュアル』のセキュアモードを参照してください。

さらに、パフォーマンスを最適化するために、次のことを確認します。

  • プライマリサーバーはバックアップホストとして使用されていません。

  • 複数のポリシーが並行してトリガされるようにスケジュールされている場合:

    • すべてのポリシーで同じ検出ホストを使用しないようにします。

  • これらのポリシーでは、最後の Backup_Host エントリが異なります。

    メモ:

    検出ホストは、Backup_Host リストの最後のエントリです。