Storage Foundation for Oracle® RAC 7.3.1 管理者ガイド - Solaris

Last Published:
Product(s): InfoScale & Storage Foundation (7.3.1)
  1. 第 I 部 SF Oracle RAC の概念と管理
    1. Storage Foundation for Oracle RAC の概要
      1. Storage Foundation for Oracle RAC について
        1.  
          SF Oracle RAC の利点
      2.  
        SF Oracle RAC のしくみ(概要)
      3. SF Oracle RAC のコンポーネント製品とプロセス
        1. 通信インフラストラクチャ
          1.  
            データフロー
          2.  
            通信の必要条件
        2. クラスタ相互接続通信チャネル
          1.  
            LLT(Low Latency Transport)について
          2.  
            GAB(Group Membership Services/Atomic Broadcast)
        3.  
          ローレベルでの通信: GAB とプロセス間のポートの関係
        4. Cluster Volume Manager(CVM)
          1.  
            CVM のアーキテクチャ
          2.  
            CVM 通信
          3.  
            CVM のリカバリ
          4.  
            VxVM との設定の相違点
          5. Flexible Storage Sharing について
            1.  
              Flexible Storage Sharing の使用例
            2.  
              Flexible Storage Sharing の制限事項
        5. Cluster File System(CFS)
          1.  
            CFS のアーキテクチャ
          2.  
            CFS 通信
          3.  
            CFS ファイルシステムのメリット
          4.  
            CFS の設定の相違点
          5.  
            CFS のリカバリ
          6.  
            データファイル格納先としての RAW ボリュームと CFS の比較
        6. Cluster Server(VCS)
          1.  
            VCS のアーキテクチャ
          2. VCS 通信
            1.  
              IMF 通知モジュールについて
          3. リソースの監視について
            1.  
              インテリジェントなリソース監視の動作方法
          4.  
            クラスタ設定ファイル(Cluster configuration files)
        7.  
          I/O フェンシングについて
        8. Oracle RAC のコンポーネント
          1. Oracle Clusterware/Grid Infrastructure
            1.  
              VCS との共存
          2.  
            OCR(Oracle Cluster Registry)
          3. アプリケーションリソース
            1.  
              リソースプロファイル
            2.  
              Oracle Clusterware/Grid Infrastructure のノードアプリケーション
            3.  
              Voting disk
        9. Oracle Disk Manager
          1.  
            ODM のアーキテクチャ
          2.  
            Veritas ODM の処理速度の拡張
          3.  
            ODM 通信
        10. RAC の機能拡張
          1.  
            Veritas Cluster Server Membership Manager
          2.  
            Veritas Cluster Server プロセス間通信
          3.  
            Oracle とキャッシュフュージョントラフィック
      4.  
        SF Oracle RAC クラスタの状態の定期的評価
      5. Virtual Business Service について
        1.  
          Virtual Business Services の機能
        2.  
          Virtual Business Service の設定例
      6.  
        Veritas InfoScale Operations Manager について
      7.  
        Veritas SORT (Services and Operations Readiness Tools) について
    2. SF Oracle RAC とそのコンポーネントの管理
      1. SF Oracle RAC の管理
        1.  
          SF Oracle RAC の環境変数設定
        2. 各ノードの SF Oracle RAC の起動または停止
          1.  
            スクリプトベースのインストーラを使った SF Oracle RAC の起動
          2.  
            手動による各ノードでの SF Oracle RAC の起動
          3.  
            スクリプトベースのインストーラを使った SF Oracle RAC の停止
          4.  
            手動による各ノードでの SF Oracle RAC の停止
        3.  
          SF Oracle RAC ノードへの Oracle パッチの適用
        4.  
          コンテナデータベース (CDB) 間でのプラグ可能データベース (PDB) の移行
        5.  
          Veritas Volume Manager、Veritas File System、または ODM のパッチの SF Oracle RAC ノードへのインストール
        6.  
          SF Oracle RAC ノードへのオペレーティングシステムの更新の適用
        7.  
          SF Oracle RAC クラスタへのストレージの追加
        8.  
          ストレージ障害からのリカバリ
        9.  
          Veritas NetBackup を使った Oracle データベースのバックアップとリストア
        10.  
          SF Oracle RAC クラスタの処理効率の向上
        11.  
          SmartIO の管理
        12.  
          オフホスト処理のスナップショットの作成
        13.  
          SmartTier による効率的なデータベースストレージ管理
        14.  
          シンプロビジョニングと SmartMove によるデータベースストレージの最適化
        15.  
          SF Oracle RAC クラスタの定期的診断のスケジュール設定
        16.  
          VCSMM モジュールを起動および停止するための環境変数の使用
        17.  
          SF Oracle RAC クラスタのノードの検証
        18.  
          Solaris 11 システムでのプライマリ BE への復帰
      2. VCS の管理
        1.  
          利用可能な Veritas デバイスドライバの表示
        2.  
          VCS の起動と停止
        3.  
          VCS モジュールを起動および停止するための環境変数
        4.  
          LLT リンクの追加と削除
        5.  
          LLT 配下の集約インターフェースの設定
        6.  
          クラスタの詳細と LLT リンクの LLT バージョンの表示
        7.  
          LLT の宛先ベースの負荷分散の設定
        8.  
          エージェントに対するインテリジェントなリソース監視の手動による有効化と無効化
        9.  
          AMF カーネルドライバの管理
      3. I/O フェンシングの管理
        1.  
          I/O フェンシングの管理について
        2. vxfentsthdw ユーティリティについて
          1.  
            vxfentsthdw ユーティリティを使うための一般的なガイドライン
          2.  
            vxfentsthdw コマンドのオプションについて
          3. vxfentsthdw の -c オプションを使ったコーディネータディスクグループのテスト
            1.  
              障害のあるディスクの削除と交換
          4.  
            -r オプションを使った、ディスク上での非破壊テストの実行
          5.  
            vxfentsthdw -m オプションを使った、共有ディスクのテスト
          6.  
            vxfentsthdw -f オプションを使った、ファイルにリストされた共有ディスクのテスト
          7.  
            vxfentsthdw -g オプションを使った、ディスクグループ内の全ディスクのテスト
          8.  
            既存のキーによるディスクのテスト
        3. vxfenadm ユーティリティについて
          1.  
            I/O フェンシング登録キーの形式について
          2.  
            I/O フェンシング登録キーの表示
          3.  
            ノードが同じディスクを参照することを確認
        4. vxfenclearpre ユーティリティについて
          1.  
            すでに存在するキーの削除
        5. vxfenswap ユーティリティについて
          1.  
            クラスタがオンラインのときの I/O フェンシングコーディネータディスクの置き換え
          2.  
            オンラインになっているクラスタ内のコーディネータディスクグループの置き換え
          3.  
            回復したサイトからコーディネータディスクグループへのディスクの追加
          4.  
            コーディネータディスク上の紛失キーのリフレッシュ
        6.  
          優先フェンシングポリシーの有効化と無効化
        7.  
          I/O フェンシングのログファイルについて
        8.  
          インストーラを使ったディスクベースのフェンシングからサーバーベースのフェンシングへの移行
        9.  
          インストーラを使ったサーバーベースのフェンシングからディスクベースのフェンシングへの移行
      4. CP サーバーの管理
        1.  
          サーバー型のフェンシングのコーディネーションポイントの登録キーの更新
        2.  
          オンラインクラスタでサーバーベースのフェンシングに使うコーディネーションポイントの置き換え
        3.  
          CP サーバーと SF Oracle RAC クラスタの通信に対する設定の非セキュアからセキュアへの移行
      5. CFS の管理
        1.  
          VCS 設定への新しい CFS システムの追加
        2.  
          CFS ファイルシステムのサイズ変更
        3.  
          CFS ファイルシステムノードと各ノードのマウントポイントの状態の確認
      6. CVM の管理
        1.  
          すべての CVM 共有ディスクの一覧表示
        2.  
          手動による CVM クラスタメンバーシップの確立
        3. CVM マスターの手動での変更
          1.  
            マスターの手動での変更に関する注意事項
          2.  
            CVM マスター切り替え時のエラー
        4.  
          共有ディスクグループの手動インポート
        5.  
          共有ディスクグループの手動デポート
        6.  
          手動による共有ボリュームの起動
        7.  
          CVM が SF Oracle RAC クラスタで実行されているかどうかの確認
        8.  
          CVM メンバーシップの状態の確認
        9.  
          CVM 共有ディスクグループの状態の確認
        10.  
          アクティブ化モードの確認
      7. Flexible Storage Sharing の管理
        1.  
          Flexible Storage Sharing ディスクサポートについて
        2.  
          Flexible Storage Sharing ディスクグループのボリュームレイアウトについて
        3.  
          ホスト接頭辞の設定
        4.  
          Flexible Storage Sharing のディスクのエクスポート
        5.  
          ディスクグループでの Flexible Storage Sharing 属性の設定
        6.  
          ホストのディスククラスと割り当てストレージの使用
        7.  
          vxassist を使用したミラー化ボリュームの管理
        8.  
          エクスポートしたディスクとネットワーク共有ディスクグループの表示
        9. ディスクグループ設定データのバックアップとリストア
          1.  
            FSS ディスクグループ設定データのバックアップと復元
      8. SF Oracle RAC のグローバルクラスタの管理
        1.  
          ディザスタリカバリファイアドリルの設定について
        2. ファイアドリル設定ウィザードを使用するファイアドリルサービスグループの設定について
          1.  
            ファイアドリル設定ウィザードの実行
          2.  
            ファイアドリルサービスグループ内のローカル属性の設定について
        3.  
          正常なファイアドリルの確認
        4.  
          ファイアドリルスケジュールの作成
        5.  
          ファイアドリルサービスグループの設定例
  2. 第 II 部 処理速度とトラブルシューティング
    1. SF Oracle RAC のトラブルシューティング
      1. SF Oracle RAC のトラブルシューティングについて
        1. サポート分析用の SF Oracle RAC クラスタからの情報の収集
          1.  
            SORT データコレクタを使った設定情報の収集
          2.  
            サポート分析用の SF Oracle RAC 情報の収集
          3.  
            サポート分析用の VCS 情報の収集
          4.  
            サポート分析用に LLT と GAB の情報を収集する
          5.  
            サポート分析用の IMF 情報の収集
        2. SF Oracle RAC ログファイル
          1.  
            重要な CVM ログの収集
        3.  
          SF Oracle RAC のカーネルとドライバのメッセージについて
        4.  
          SF Oracle RAC クラスタのカーネルメモリ破損のトラブルシューティング
        5. VCS メッセージログ
          1.  
            GAB メッセージのログ
          2.  
            デバッグログのタグの使用法について
          3.  
            エージェントのデバッグログの有効化
          4.  
            VCS エンジンのデバッグログの有効化
          5.  
            IMF のデバッグログの有効化
          6.  
            メッセージカタログ
      2.  
        ネットワーク接続に失敗した後のインストーラの再起動
      3.  
        インストーラでクラスタの UUID を作成できない
      4.  
        SF Oracle RAC インストール前検査の失敗のトラブルシューティング
      5.  
        LLT 診断時のトラブルシューティングに対する警告メッセージ
      6.  
        SF Oracle RAC クラスタの LMX と VCSMM 診断時の警告メッセージのトラブルシューティング
      7. I/O フェンシングのトラブルシューティング
        1.  
          起動時の SCSI 予約エラー
        2.  
          SCSI TEST UNIT READY コマンドが失敗すると、vxfentsthdw ユーティリティが失敗する
        3.  
          他のノードが除外されている間、ノードはクラスタを参加させられない
        4.  
          システムパニックによって潜在的なデータ破損が防止される
        5.  
          コーディネータディスクの I/O フェンシングキーのクラスタ ID がローカルクラスタの ID と一致しない
        6. フェンシングの起動時にすでに発生しているスプリットブレイン状態が報告される
          1.  
            すでに発生しているスプリットブレイン状態のクリア
        7.  
          登録済みのキーがコーディネータディスクから失われている
        8.  
          クラスタがオフラインになっているときに不具合のあるディスクの置換
        9.  
          I/O フェンシング診断時のトラブルシューティングに対する警告メッセージ
        10. CP サーバーのトラブルシューティング
          1.  
            CP サーバーサービスグループに関連する問題のトラブルシューティング
          2.  
            CP サーバーの接続の確認
        11. SF Oracle RAC クラスタノードでのサーバーベースのフェンシングのトラブルシューティング
          1.  
            サーバーベースのフェンシング用に設定された SF Oracle RAC クラスタ ノードでのフェンシング起動時の問題
        12. コーディネーションポイントのオンライン移行中の問題
          1.  
            vxfenswap コマンド実行後の vxfen サービスグループのアクティビティ
      8. SF Oracle RAC クラスタの Cluster Volume Manager のトラブルシューティング
        1.  
          ケーブル切断後のホストとディスク間の通信の復元
        2.  
          共有ディスクグループを SF Oracle RAC クラスタにインポートできない
        3.  
          SF Oracle RAC クラスタでの共有ディスクグループのインポートエラー
        4.  
          SF Oracle RAC クラスタで CVM を起動できない
        5.  
          CVM グループが SF Oracle RAC クラスタへのノード追加後オンラインではない
        6.  
          CVMCluster が SF Oracle RAC クラスタでオンラインでも CVMVolDg がオンラインにならない
        7.  
          SF Oracle RAC クラスタに共有ディスクが表示されない
      9. CFS のトラブルシューティング
        1.  
          root ユーザーの <library> パスの順序が正しくない
      10. VCSIPC のトラブルシューティング
        1.  
          Oracle トレースまたはログファイル内の VCSIPC エラー
      11. Oracle のトラブルシューティング
        1.  
          Oracle ログファイル
        2.  
          Oracle Note
        3.  
          Oracle Universal Installer が、Oracle Grid Infrastructure 11.2.0.4 のインストール中に突然終了する
        4.  
          Oracle Clusterware のインストール中に OUI でクラスタ設定画面にノード名が表示されない
        5.  
          SF Oracle RAC での Oracle インスタンスの起動時のエラー
        6.  
          Oracle グループの障害のクリア
        7.  
          手動でシャットダウンしていないときでも Oracle ログファイルにシャットダウンの呼び出しがある
        8.  
          Oracle Clusterware プロセスが起動に失敗する
        9.  
          再起動後に Oracle Clusterware が失敗
        10.  
          SF Oracle RAC クラスタにおける VIP 設定のトラブルシューティング
        11.  
          SF Oracle RAC クラスタ内の Oracle Clusterware 診断時の警告メッセージのトラブルシューティング
      12. SF Oracle RAC クラスタの ODM のトラブルシューティング
        1.  
          ODM に不正に設定されたファイルシステムが Oracle を停止する
      13.  
        SF Oracle RAC クラスタの Flex ASM のトラブルシューティング
    2. 防止と修復の戦略
      1.  
        SF Oracle RAC クラスタの GAB ポートの確認
      2.  
        GAB シードメンバーシップの確認
      3.  
        手動による GAB メンバーシップのシード
      4.  
        VCS I/O フェンシングポートの評価
      5.  
        VCS I/O フェンシングの正常機能の確認
      6. SF Oracle RAC クラスタでの SCSI-3 PR キーの管理
        1.  
          ホストから LUN へのパスが複数ある場合のコーディネータ LUN 上の SCSI-3 PR キー数の評価
        2.  
          コーディネータ LUN からの SCSI-3 PR キーの不測の削除の検出
      7.  
        障害が発生したコーディネータ LUN の識別
    3. チューニングパラメータ
      1.  
        SF Oracle RAC のチューニングパラメータについて
      2. GAB のチューニングパラメータについて
        1.  
          GAB のロード時チューニングパラメータまたは静的チューニングパラメータについて
        2.  
          GAB の実行時チューニングパラメータまたは動的チューニングパラメータについて
      3. LLT のチューニングパラメータについて
        1.  
          LLT タイマーチューニングパラメータについて
        2.  
          LLT フロー制御チューニングパラメータについて
        3.  
          LLT タイマーチューニングパラメータの設定
      4. LMX のチューニングパラメータについて
        1. LMX のチューニングパラメータ
          1.  
            LMX モジュールの再設定
      5. チューニングパラメータ VXFEN について
        1.  
          VXFEN モジュールパラメータの設定
      6.  
        キャンパスクラスタのチューニングガイドライン
  3. 第 III 部 参照
    1. 付録 A. SF Oracle RAC 診断の一覧
      1.  
        LLT 診断
      2.  
        SF Oracle RAC クラスタ内の LMX の診断
      3.  
        I/O フェンシングの診断
      4.  
        SF Oracle RAC クラスタ内の PrivNIC の診断
      5.  
        SF Oracle RAC クラスタ内の Oracle Clusterware の診断
      6.  
        SF Oracle RAC クラスタ内の CVM、CFS、および ODM の診断
    2. 付録 B. エラーメッセージ
      1.  
        エラーメッセージについて
      2. SF Oracle RAC の LMX エラーメッセージ
        1.  
          SF Oracle RAC の重要度の高い LMX エラーメッセージ
        2.  
          重要度の低い SF Oracle RAC の LMX エラーメッセージ
      3.  
        VxVM エラーメッセージ
      4. VXFEN ドライバのエラーメッセージ
        1.  
          VXFEN ドライバの情報メッセージ
        2.  
          ノードの除外情報メッセージ

クラスタがオンラインのときの I/O フェンシングコーディネータディスクの置き換え

動作しているクラスタで 1 つ以上のコーディネータディスクを追加、削除、置換する各手順を確認します。

警告:

スクリプトが一連のコーディネータディスクを置き換える前にいずれかのノードがクラスタメンバーシップから除外されている場合、クラスタがパニックを起こす可能性があります。

クラスタがオンライン状態のとき、コーディネータディスクグループのディスクを置き換えるには

  1. システム間の通信が適切に機能していることを確認します。
  2. FaultTolerance 属性の値を決定します。

    # hares -display coordpoint -attribute FaultTolerance -localclus

  3. フェンシングの設定の一部としての使用を計画するコーディネーションポイントの数を推定します。
  4. FaultTolerance 属性の値を 0 に設定します。

    メモ:

    値を 0 に設定する必要があるのは、この後の手順で、この属性の値をコーディネーションポイントの数未満の数に再設定する必要があるためです。これにより、Coordpoint エージェントにエラーが発生しないようにします。

  5. LevelTwoMonitorFreq 属性の既存の値を確認します。
    #hares -display coordpoint -attribute LevelTwoMonitorFreq -localclus

    メモ:

    次のステップに進む前に属性値をメモします。移行後、属性を再び有効化するときに同じ値に設定する必要があります。

    また、hares -display coordpoint を実行し、LevelTwoMonitorFreq 値が設定されているかどうかを確認できます。

  6. Coordpoint エージェントのレベル 2 の監視の無効化します。
    # hares -modify coordpoint LevelTwoMonitorFreq 0
  7. クラスタがオンラインになっていることを確認します。
    # vxfenadm -d
    I/O Fencing Cluster Information:
    ================================
    Fencing Protocol Version: 201
    Fencing Mode: SCSI3
    Fencing SCSI3 Disk Policy: dmp
    Cluster Members:
    		* 0 (sys1)
    		1 (sys2)
    RFSM State Information:
    		node 0 in state 8 (running)
    		node 1 in state 8 (running)
  8. コーディネータディスクグループをインポートします。

    ファイル /etc/vxfendg には、コーディネータディスクを含むディスクグループの名前(通常は、vxfencoorddg)が含まれます。したがって次のコマンドを実行します。

    # vxdg -tfC import 'cat /etc/vxfendg'

    ここで、

    -t は、ノードが再起動するまでの間のみ、ディスクグループをインポートするよう指定します。

    -f は、強制的にインポートすることを指定します。これは、1 つ以上のディスクがアクセス不能の場合に必要です。

    -C は、インポートしたすべてのロックを削除するよう指定します。

  9. セットアップで VRTSvxvmversion を使う場合、手順 10 に進みます。ディスクを追加または削除するために coordinator=off を設定する必要はありません。 その他の VxVM バージョンでは、次の手順を実行します。

    version は特定のリリースバージョンです。

    コーディネータディスクグループの coordinator 属性の値を off にします。

    # vxdg -g vxfencoorddg set coordinator=off
  10. ディスクをコーディネータディスクグループから削除するには、VxVM ディスク管理者ユーティリティの vxdiskadm を使います。
  11. コーディネータディスクグループに新しいディスクを追加するには、次の手順を実行します。

    • ノードに新しいディスクを追加します。

    • VxVM ディスクとして新しいディスクを初期化します。

    • I/O フェンシングに準拠しているかどうかディスクを確認します。

    • 新しいディスクをコーディネータディスクグループに追加し、コーディネータ属性値をコーディネータディスクグループに対して「オン」と設定します。

    手順について詳しくは、『Storage Foundation for Oracle RAC 設定/アップグレードガイド』を参照してください。

    ディスクグループの内容は変わっていますが、I/O フェンシングは同じ状態を保っています。

  12. 1 つのノードから vxfenswap ユーティリティを開始します。 ディスクグループをユーティリティに指定する必要があります。

    このユーティリティのタスクは次のとおりです。

    • 既存の /etc/vxfentab ファイルのバックアップを作成します。

    • 各ノードで、変更するディスクグループ用のテストファイル /etc/vxfentab.test を作成します。

    • vxfenswap コマンドで指定したディスクグループを読み取り、そのディスクグループを各ノードの /etc/vxfentab.test ファイルに追加します。

    • すべてのノードで新しいディスクのシリアル番号が同じになっていることを確認します。 チェックが失敗すると、スクリプトは終了します。

    • 各ノードで新しいディスクが I/O フェンシングをサポートできることを確認します。

  13. 正常なディスクであることが確認されると、ユーティリティは、成功したことを報告し、新しいコーディネータディスクセットをコミットするかどうかを確認します。
  14. コーディネーションポイント上のキーをクリアして vxfenswap 操作を続行するかどうかを指定します。

    Do you want to clear the keys on the coordination points 
    and proceed with the vxfenswap operation? [y/n] (default: n) y
  15. ユーティリティが表示するメッセージを確認し、コーディネータディスクの新しいセットをコミットすることを確認します。 置き換えない場合は、手順 16 にスキップします。
    Do you wish to commit this change? [y/n] (default: n) y

    ユーティリティがコミットを正常に処理すると、ユーティリティは /etc/vxfentab.test ファイルを /etc/vxfentab ファイルに移動します。

  16. コーディネータディスクの新しいセットをコミットしない場合は、n と答えます。

    vxfenswap ユーティリティはディスク置き換え操作をロールバックします。

  17. コーディネータフラグがステップ 9 で off に設定されている場合は、on に設定します。
    # vxdg -g vxfencoorddg set coordinator=on
  18. ディスクグループをデポートします。
    # vxdg deport vxfencoorddg 
  19. CoordPoint エージェントの LevelTwoMonitorFreq 属性を再び有効化します。属性を無効にする前に設定されていた値を使うこともできます。
    # hares -modify coordpoint LevelTwoMonitorFreq Frequencyvalue

    Frequencyvalue は属性値です。

  20. FaultTolerance 属性の値を、コーディネーションポイントの合計数の 50% よりも低い値に設定します。

    たとえば、設定に 4 つのコーディネーションポイントがある場合、属性値は 2 未満の値にする必要があります。2 を超える値を設定した場合、CoordPoint エージェントにエラーが発生します。