Storage Foundation Cluster File System High Availability 8.0.2 設定およびアップグレードガイド - Linux

Last Published:
Product(s): InfoScale & Storage Foundation (8.0.2)
Platform: Linux
  1. 第 I 部 SFCFSHA の概要
    1. Storage Foundation Cluster File System High Availability の概要
      1.  
        このマニュアルについて
      2.  
        Storage Foundation Cluster File System High Availability のアップグレードについて
      3.  
        Veritas InfoScale Operations Manager について
      4.  
        I/O フェンシングについて
      5.  
        Veritas SORT (Services and Operations Readiness Tools) について
      6. データ整合性のための SFCFSHA クラスタの設定について
        1.  
          SCSI-3 PR をサポートしない仮想マシンでの Storage Foundation Cluster File System High Availability 用 I/O フェンシングについて
        2. I/O フェンシングのコンポーネントについて
          1.  
            データディスクについて
          2.  
            コーディネーションポイントについて
          3.  
            優先フェンシングについて
  2. 第 II 部 SFCFSHA の設定
    1. 設定の準備
      1. I/O フェンシングの必要条件
        1.  
          I/O フェンシングに必要なコーディネータディスクの条件
        2.  
          CP サーバーの必要条件
        3.  
          非 SCSI-3 I/O フェンシングの必要条件
    2. データ整合性のための SFCFSHA クラスタ設定の準備
      1. I/O フェンシング設定の計画について
        1.  
          サーバーベースの I/O フェンシングを使った標準的な SFCFSHA クラスタ設定
        2.  
          推奨される CP サーバーの設定
      2. CP サーバーの設定
        1.  
          CP サーバー設定の計画
        2.  
          インストーラを使った CP サーバーのインストール
        3.  
          セキュアモードでの CP サーバークラスタの設定
        4.  
          CP サーバーデータベースの共有ストレージの設定
        5.  
          インストーラプログラムを使った CP サーバーの設定
        6. CP サーバーの手動設定
          1.  
            HTTPS ベースの通信のための手動による CP サーバーの設定
          2.  
            CP サーバーのための手動によるキーと証明書の生成
          3.  
            CP サーバーの設定の完了
        7.  
          CP サーバーの設定の確認
    3. SFCFSHA の設定
      1.  
        製品インストーラを使って SFCFSHA を設定するタスクの概要
      2.  
        ソフトウェアの設定の開始
      3.  
        設定するシステムの指定
      4.  
        クラスタ名の設定
      5.  
        プライベートハートビートリンクの設定
      6.  
        クラスタの仮想 IP の設定
      7.  
        セキュアモードでの SFCFSHA の設定
      8. ノード別のセキュアクラスタノードの設定
        1.  
          最初のノードの設定
        2.  
          残りのノードの設定
        3.  
          セキュアクラスタ設定の完了
      9.  
        VCS ユーザーの追加
      10.  
        SMTP 電子メール通知の設定
      11.  
        SNMP トラップ通知の設定
      12.  
        グローバルクラスタの設定
      13. SFCFSHA 設定の完了
        1.  
          NIC 設定の確認
      14.  
        Veritas ライセンス監査ツールについて
      15. システム上のライセンスの確認と更新
        1.  
          ライセンス情報の確認方法
        2.  
          SFCFSHA キーレスライセンスから別のキーレスライセンスへの更新
        3.  
          SFCFSHA キーレスライセンスから永続ライセンスへの更新
      16.  
        SFDB の設定
    4. データ整合性のための SFCFSHA クラスタの設定
      1. インストーラ を使ったディスクベース I/O フェンシングの設定
        1.  
          インストーラ を使ったディスクベースの I/O フェンシングの設定
        2.  
          VxVM ディスクとしてのディスクの初期化
        3. I/O フェンシング用の共有ディスクの確認
          1.  
            ASL（Array Support Library）の確認
          2.  
            ノードに同じディスクへのアクセス権限があることを確認する
          3.  
            vxfentsthdw ユーティリティを使ったディスクのテスト
        4.  
          インストーラ を使ってディスクベースのフェンシングの既存のコーディネーションポイント上のキーまたは登録を更新する
      2. インストーラを使ったサーバーベース I/O フェンシングの設定
        1.  
          インストーラ を使ってサーバーベースのフェンシングの既存のコーディネーションポイント上のキーまたは登録を更新する
        2. インストーラ を使ったサーバーベースのフェンシングに対する既存のコーディネーションポイントの順序の設定
          1.  
            既存のコーディネーションポイントの順序の決定について
          2.  
            インストーラ を使って既存のコーディネーションポイントの順序を設定する
      3.  
        インストーラ を使った仮想環境における非 SCSI-3 I/O フェンシングの設定
      4.  
        インストーラ を使ったマジョリティベース I/O フェンシングの設定
      5.  
        優先フェンシングポリシーの有効化と無効化
    5. 応答ファイルを使用した SFCFSHA 自動設定の実行
      1.  
        応答ファイルを使った SFCFSHA の設定
      2.  
        SFCFSHA を設定するための応答ファイル変数
      3.  
        SFCFSHA を設定するための応答ファイルのサンプル
    6. 応答ファイルを使用した自動 I/O フェンシング設定の実行
      1.  
        応答ファイルを使った I/O フェンシングの設定
      2.  
        ディスクベースの I/O フェンシングを設定するための応答ファイルの変数
      3.  
        ディスクベースの I/O フェンシングを設定するための応答ファイルの例
      4. 応答ファイルを使用した CP サーバーの設定
        1.  
          CP サーバーを設定するための応答ファイル変数
        2.  
          シングルノード VCS クラスタで CP サーバーを設定するためのサンプル応答ファイル
        3.  
          SFHA クラスタで CP サーバーを設定するためのサンプル応答ファイル
      5.  
        サーバーベースの I/O フェンシングを設定するための応答ファイルの変数
      6.  
        サーバーベースの I/O フェンシングを設定するためのサンプル応答ファイル
      7.  
        非 SCSI-3 I/O フェンシングを設定するための応答ファイルの変数
      8.  
        非 SCSI-3 I/O フェンシングを設定するための応答ファイルの例
      9.  
        マジョリティベース I/O フェンシングを設定するための応答ファイルの変数
      10.  
        過半数ベースの I/O フェンシングを設定するための応答ファイルの例
    7. データ整合性のための SFCFSHA クラスタの手動設定
      1. ディスクベースの I/O フェンシングの手動設定
        1.  
          コーディネータディスクとして使うディスクの特定
        2.  
          コーディネータディスクグループの設定
        3.  
          I/O フェンシングの設定ファイルの作成
        4.  
          I/O フェンシングを使うための VCS 設定の修正
        5.  
          I/O フェンシング設定の確認
      2. サーバーベースの I/O フェンシングの手動設定
        1.  
          CP サーバーを SFCFSHA クラスタ で使用するための手動による準備
        2.  
          クライアントノードにおけるクライアントキーと証明書の手動による生成
        3. SFCFSHA クラスタ上での手動によるサーバーベースのフェンシングの設定
          1.  
            サーバーベースのフェンシング用に出力される vxfenmode ファイルのサンプル
        4.  
          コーディネーションポイントを監視するための CoordPoint エージェントの設定
        5.  
          サーバーベースの I/O フェンシングの設定の検証
      3. 仮想環境での非 SCSI-3 フェンシングの手動設定
        1.  
          非 SCSI-3 フェンシングのサンプル /etc/vxfenmode ファイル
      4. マジョリティベースの I/O フェンシングの手動設定
        1.  
          I/O フェンシングの設定ファイルの作成
        2.  
          I/O フェンシングを使うための VCS 設定の修正
        3.  
          I/O フェンシング設定の確認
  3. 第 III 部 SFCFSHA のアップグレード
    1. SFCFSHA のアップグレード計画
      1.  
        アップグレードについて
      2.  
        サポート対象のアップグレードパス
      3.  
        Veritas 製品間の移行
      4.  
        Oracle リソースを使って設定されたシステムで SFCFSHA を 8.0.2 にアップグレードする場合の注意事項
      5. SFCFSHA のアップグレードの準備
        1.  
          アップグレードの準備
        2.  
          バックアップの作成
        3.  
          ルートディスクがカプセル化されているかどうかの確認
        4. VVR が設定されている場合のアップグレード前の計画
          1. 以前の VVR バージョンからのアップグレードの計画
            1.  
              接続プロトコルとして IPv6 を使うための VVR の計画とアップグレード
          2.  
            レプリケーションが進行中または一時停止しているシステムで SFCFSHA を 7.4 以降にアップグレードする場合の考慮点
        5. VCS エージェントが設定されている場合の VVR アップグレードの準備
          1. サービスグループのフリーズとすべてのアプリケーションの停止
            1.  
              ディスクグループがオンラインになっているノードの確認
          2.  
            VCS エージェントが設定されている場合のアップグレードの準備
        6.  
          アレイサポートのアップグレード
      6.  
        REST サーバーのアップグレードに関する注意事項
      7.  
        インストールバンドルを使ったフルリリース (ベース、メンテナンス、ローリングパッチ) と個々のパッチの同時インストールまたは同時アップグレード
    2. インストーラを使った SFCFSHA の完全アップグレードの実行
      1. 製品インストーラを使った完全アップグレードの実行
        1.  
          ファイルシステムが正常にマウント解除されていることの確認
        2. アップグレードの実行
          1.  
            設定の更新と起動の確認
        3.  
          オペレーティングシステムのアップグレード
      2.  
        SFDB のアップグレード
    3. SFCFSHA のローリングアップグレードの実行
      1.  
        ローリングアップグレードについて
      2.  
        製品インストーラを使った SFCFSHA のローリングアップグレードの実行
      3.  
        SFCFSHA の 7.4.2 以降から 8.0.2 へのローリングアップグレードの実行
      4.  
        CVR 環境でのローリングアップグレードの実行
    4. SFCFSHA の段階的アップグレードの実行
      1. 段階的アップグレードについて
        1.  
          段階的アップグレードの前提条件
        2.  
          段階的アップグレードの計画
        3.  
          段階的アップグレードの制限事項
        4.  
          段階的アップグレードの例
        5.  
          段階的アップグレードの例についての概要
      2. 製品インストーラを使った段階的アップグレードの実行
        1.  
          2 番目のサブクラスタへのサービスグループの移動
        2.  
          1 番目のサブクラスタでのオペレーティングシステムのアップグレード
        3.  
          最初のサブクラスタでの SFCFSHA スタックのアップグレード
        4.  
          2 番目のサブクラスタの準備
        5.  
          1 番目のサブクラスタのアクティブ化
        6.  
          2 番目のサブクラスタでのオペレーティングシステムのアップグレード
        7.  
          2 番目のサブクラスタのアップグレード
        8.  
          段階的アップグレードの完了
    5. 応答ファイルを使用した SFCFSHA 自動アップグレードの実行
      1.  
        応答ファイルを使った SFCFSHA のアップグレード
      2.  
        SFCFSHA をアップグレードするための応答ファイルの変数
      3.  
        SFCFSHA の完全アップグレードのためのサンプル応答ファイル
      4.  
        SFCFSHA のローリングアップグレードのためのサンプル応答ファイル
      5.  
        SFCFSHA を 7.4.2 以降から 8.0.2 にローリングアップグレードするためのサンプル応答ファイル
    6. Volume Replicator のアップグレード
      1.  
        Volume Replicator のアップグレード
      2. レプリケーションを中断しない VVR のアップグレード
        1.  
          InfoScale 7.3.1 の VVR サイトのアップグレード
        2.  
          InfoScale 7.4 以降での VVR サイトのアップグレード
        3.  
          InfoScale 7.3.1 の VCS 制御での VVR サイトのアップグレード
        4.  
          InfoScale 7.4 以降の VCS 制御での VVR サイトのアップグレード
        5.  
          VVR サイトのアップグレード後のタスク
    7. VirtualStore のアップグレード
      1.  
        サポートされているアップグレードパス
      2.  
        SVS から SFCFSHA 8.0.2 へのアップグレード
    8. アップグレード後のタスクの実行
      1.  
        DAS ディスク名をリセットして FSS 環境のホスト名を含める
      2.  
        現在のディスクグループへのバックアップブートディスクグループの再結合
      3.  
        アップグレードに失敗した場合にバックアップブートディスクグループに戻す
      4.  
        CVM マスターノードは VCS で管理される VVR リソースのログ所有者の役割を引き受ける必要がある
  4. 第 IV 部 設定後のタスク
    1. 設定後のタスクの実行
      1.  
        ディスクレイアウトバージョンのアップグレード
      2.  
        クォータの切り替え
      3. セキュアモードで動作するクラスタの LDAP 認証の有効化について
        1.  
          セキュアモードで動作するクラスタの LDAP 認証の有効化
      4. SFDB ツールの認証の設定について
        1.  
          SFDB ツール認証のための vxdbd の設定
      5.  
        転送中のデータの暗号化を有効にする
  5. 第 V 部 ディザスタリカバリ環境の設定
    1. ディザスタリカバリ環境の設定
      1.  
        SFCFSHA 用のディザスタリカバリオプション
      2.  
        ディザスタリカバリのためのキャンパスクラスタの設定について
      3.  
        SFCFSHA のグローバルクラスタ環境の設定について
      4.  
        VVR（Volume Replicator）を使ったパラレルグローバルクラスタのレプリケーション設定について
  6. 第 VI 部 ノードの追加と削除
    1. SFCFSHA クラスタへのノードの追加
      1.  
        クラスタへのノードの追加について
      2.  
        クラスタにノードを追加する前に
      3.  
        Veritas InfoScale インストーラを使ったクラスタへのノードの追加
      4. 手動によるクラスタへのノードの追加
        1.  
          新しいノードの VxVM の起動
        2.  
          新しいノードのクラスタプロセスの設定
        3. セキュアモードで動作するノードの設定
          1.  
            sys5 ノードでの認証ブローカーの設定
        4.  
          新しいノードでのフェンシングの起動
        5.  
          新しいノードの追加後
        6.  
          新しいノードでの Cluster Volume Manager（CVM）と Cluster File System（CFS）の設定
        7.  
          新しいノードへの ClusterService グループの設定
      5. 応答ファイルを使ったノードの追加
        1.  
          SFCFSHA クラスタにノードを追加するための応答ファイルの変数
        2.  
          ノードを SFCFSHA クラスタに追加するための応答ファイルの例
      6. 新しいノードでのサーバーベースのフェンシングの設定
        1.  
          vxfen サービスグループへの新しいノードの追加
      7.  
        SFDB ツールに対して認証を使っているクラスタへのノードの追加
      8.  
        ノード追加後の SFDB（Storage Foundation for Databases）リポジトリの更新
      9.  
        ノードをクラスタに追加するための設定ファイルの例
    2. SFCFSHA クラスタからのノードの削除
      1.  
        クラスタからのノードの削除について
      2.  
        クラスタからのノードの削除
      3.  
        既存のノードでの VCS 設定ファイルの変更
      4.  
        削除されたノードへの参照を削除するために既存のノードの CVM (Cluster Volume Manager) の設定を変更する
      5.  
        CP サーバーからのノード設定の削除
      6.  
        削除するノードからセキュリティのクレデンシャルを削除する
      7.  
        ノード削除後の SFDB（Storage Foundation for Databases）リポジトリの更新
      8.  
        クラスタからノードを削除するための設定例ファイル
  7. 第 VII 部 設定およびアップグレードの参照
    1. 付録 A. インストールスクリプト
      1.  
        インストールスクリプトオプション
      2.  
        postcheck オプションの使用について
    2. 付録 B. 設定ファイル
      1.  
        LLT と GAB の設定ファイルについて
      2.  
        AMF 設定ファイルについて
      3.  
        I/O フェンシングの設定ファイルについて
      4. CP サーバーの設定ファイルの例
        1.  
          VCS を実行するシングルノードでホストされる CP サーバーの main.cf ファイルの例
        2.  
          2 ノード SFHA クラスタでホストされる CP サーバーの main.cf ファイルの例
        3.  
          CP サーバーの設定（/etc/vxcps.conf）ファイル出力のサンプル
    3. 付録 C. セキュアシェルまたはリモートシェルの通信用の設定
      1.  
        製品インストール前のセキュアシェルまたはリモートシェル通信モードの設定について
      2.  
        パスワードなし ssh の手動設定
      3.  
        installer -comsetup コマンドを使用した ssh および rsh 接続の設定
      4.  
        pwdutil.pl ユーティリティを使用した ssh および rsh 接続の設定
      5.  
        ssh セッションの再起動
      6.  
        Linux の rsh の有効化
    4. 付録 D. 高可用性エージェントの情報
      1. エージェントについて
        1.  
          SFCFSHA に含まれる VCS エージェント
      2. エージェントに対するインテリジェントなリソース監視の手動による有効化と無効化
        1.  
          AMF カーネルドライバの管理
      3. CVMCluster エージェント
        1.  
          CVMCluster エージェントのエントリポイント
        2.  
          CVMCluster エージェントの属性定義
        3.  
          CVMCluster エージェントタイプの定義
        4.  
          CVMCluster エージェントの設定例
      4. CVMVxconfigd エージェント
        1.  
          CVMVxconfigd エージェントのエントリポイント
        2.  
          CVMVxconfigd エージェントの属性定義
        3.  
          CVMVxconfigd エージェントのタイプの定義
        4.  
          CVMVxconfigd エージェントの設定例
      5. CVMVolDg エージェント
        1.  
          CVMVolDg エージェントのエントリポイント
        2.  
          CVMVolDg エージェントの属性定義
        3.  
          CVMVolDg エージェントタイプの定義
        4.  
          CVMVolDg エージェントの設定例
      6. CFSMount エージェント
        1.  
          CFSMount エージェントのエントリポイント
        2.  
          CFSMount エージェントの属性定義
        3.  
          CFSMount エージェントのタイプの定義
        4.  
          CFSMount エージェントの設定例
      7. CFSfsckd エージェント
        1.  
          CFSfsckd エージェントのエントリポイント
        2.  
          CFSfsckd エージェントの属性定義
        3.  
          CFSfsckd エージェントのタイプの定義
        4.  
          CFSfsckd エージェントの設定例
    5. 付録 E. CP サーバーベースの I/O フェンシングのためのサンプル SFCFSHA クラスタ設定図
      1. サーバーベース I/O フェンシングを設定する場合の構成図
        1.  
          3 台の CP サーバーによって機能する 2 つの一意なクライアントクラスタ
        2.  
          高可用性 CPS と 2 台の SCSI-3 ディスクによって機能するクライアントクラスタ
        3.  
          リモート CP サーバーと 2 台の SCSI-3 ディスクによって機能する 2 ノードキャンパスクラスタ
        4.  
          高可用性 CP サーバーと 2 台の SCSI-3 ディスクによって機能する複数のクライアントクラスタ
    6. 付録 F. UDP 上での LLT の設定
      1. LLT での UDP 層の使用
        1.  
          UDP 上で LLT を使う状況
      2. IPv4 を使った UDP 上での LLT の手動設定
        1.  
          /etc/llttab ファイルのブロードキャストアドレス
        2.  
          /etc/llttab ファイルの link コマンド
        3.  
          /etc/llttab ファイルの set-addr コマンド
        4.  
          UDP ポートの選択
        5.  
          LLT でのサブネットマスクの設定
        6.  
          LLT 用ブロードキャストアドレスの設定
        7.  
          設定例: 直接接続リンク
        8.  
          設定例: IP ルーター越しのリンク
      3. LLT 用の IPv6 の UDP レイヤーの使用
        1.  
          UDP 上で LLT を使う状況
      4. IPv6 を使った UDP 上での LLT の手動設定
        1.  
          /etc/llttab ファイルの link コマンド
        2.  
          /etc/llttab ファイルの set-addr コマンド
        3.  
          UDP ポートの選択
        4.  
          設定例: 直接接続リンク
        5.  
          設定例: IP ルーター越しのリンク
      5. UDP マルチポート上での LLT の設定について
        1.  
          UDP マルチポートを介した LLT の手動設定
        2.  
          ファイアウォールで LLT ポートを有効にする
        3.  
          UDP マルチポート機能の無効化
    7. 付録 G. RDMA 上での LLT の使用
      1.  
        RDMA 上での LLT の使用
      2.  
        クラスタ環境の RoCE または InfiniBand ネットワーク上の RDMA について
      3.  
        アプリケーション間のより高速の相互接続のための LLT での RDMA 機能のサポートについて
      4.  
        RDMA 上の LLT の使用: サポート対象の使用例
      5. RDMA 上の LLT の設定
        1.  
          RDMA 上の LLT に対するサポート対象ハードウェアの選択
        2.  
          RDMA、InfiniBand またはイーサネットドライバおよびユーティリティのインストール
        3. イーサネットネットワーク上の RDMA の設定
          1.  
            RoCE（RDMA over Converged Ethernet）の有効化
          2.  
            RDMA と Ethernet ドライバの設定
          3.  
            Ethernet インターフェースでの IP アドレスの設定
        4. InfiniBand ネットワーク上の RDMA の設定
          1.  
            RDMA と InfiniBand ドライバの設定
          2.  
            OpenSM サービスの設定
          3.  
            InfiniBand インターフェース上の IP アドレスの設定
        5. システムパフォーマンスのチューニング
          1.  
            CPU 周波数のチューニング
          2.  
            ブートパラメータ設定のチューニング
        6. RDMA 上の LLT の手動設定
          1.  
            /etc/llttab ファイルのブロードキャストアドレス
          2.  
            /etc/llttab ファイルの link コマンド
          3.  
            UDP ポートの選択
          4.  
            LLT でのサブネットマスクの設定
          5.  
            設定例: 直接接続リンク
        7.  
          /etc/llttab 内の RDMA 上の LLT の例
        8.  
          LLT 設定の確認
      6. RDMA 上の LLT のトラブルシューティング
        1.  
          RDMA NIC に関連付けられた IP アドレスがノード再起動時に自動的に設定されない
        2.  
          Ping テストが InfiniBand インターフェース上で設定されている IP アドレスに対し失敗する
        3.  
          ノード再起動後、デフォルトでは Virtual Protocol Interconnect（VPI）を持つ Mellanox カードが InfiniBand モードで設定される
        4.  
          LLT モジュールが開始しない

データ整合性のための SFCFSHA クラスタの設定について

ノードに障害が起きた場合、SFCFSHA は修正アクションを実行し、変更後のメンバーシップが反映されるように、そのコンポーネントを設定します。 実際のノードに障害が発生していないのに、障害があるノードと同じ現象が見られる場合、上記の修正アクションはスプリットブレインの状況を引き起こします。

そのようなスプリットブレインの状況の原因となるシナリオの例を次に示します。

  • プライベートネットワークの障害

    2 ノードクラスタ内のシステムにノード障害が発生すると、システムはプライベート相互接続を介したノード間のハートビート送信を停止します。 次に、存在するノードが修正アクションを実行します。 実際のノードではなくプライベート相互接続に障害が起きた場合も同じ現象が起こり、これによって各ノードは自分の接続相手が切断されたと判断します。 このような場合は、両方のノードが無秩序にデータストレージを制御しようとするため、通常はデータの破損につながります。

  • ハングアップしたように見えるシステム

    システムで処理が集中しているために応答していないように見える場合、他のノードからシステム停止を宣言される可能性があります。 この宣言は、「中断」および「再開」機能をサポートするハードウェアを使用しているノードにも発生する場合があります。 中断機能を使用してノードを PROM レベルに落としてから処理を再開すると、他のノードからシステム停止を宣言される場合があります。 そのシステムが後で復旧して書き込み処理を再開しても、他のノードからはシステム停止を宣言される場合があります。

I/O フェンシングは、クラスタ内で通信エラーが発生した場合にデータ破損を防止する機能です。 SFCFSHA は I/O フェンシングを使って、スプリットブレインに伴うリスクを除去します。 I/O フェンシングは、アクティブなクラスタのメンバーへの書き込みアクセスを許可します。 メンバー以外からのストレージへのアクセスはブロックするため、稼動中のノードでも障害の原因になることはありません。

Veritas InfoScale Enterprise をインストールし、SFCFSHA を設定した後で、データ整合性が確保されるように SFCFSHA の I/O フェンシングを設定する必要があります。

???を参照してください。

I/O フェンシング設定の計画についてを参照してください。