Storage Foundation for Oracle® RAC 7.3.1 管理者ガイド - Solaris

Last Published:
Product(s): InfoScale & Storage Foundation (7.3.1)
  1. 第 I 部 SF Oracle RAC の概念と管理
    1. Storage Foundation for Oracle RAC の概要
      1. Storage Foundation for Oracle RAC について
        1.  
          SF Oracle RAC の利点
      2.  
        SF Oracle RAC のしくみ(概要)
      3. SF Oracle RAC のコンポーネント製品とプロセス
        1. 通信インフラストラクチャ
          1.  
            データフロー
          2.  
            通信の必要条件
        2. クラスタ相互接続通信チャネル
          1.  
            LLT(Low Latency Transport)について
          2.  
            GAB(Group Membership Services/Atomic Broadcast)
        3.  
          ローレベルでの通信: GAB とプロセス間のポートの関係
        4. Cluster Volume Manager(CVM)
          1.  
            CVM のアーキテクチャ
          2.  
            CVM 通信
          3.  
            CVM のリカバリ
          4.  
            VxVM との設定の相違点
          5. Flexible Storage Sharing について
            1.  
              Flexible Storage Sharing の使用例
            2.  
              Flexible Storage Sharing の制限事項
        5. Cluster File System(CFS)
          1.  
            CFS のアーキテクチャ
          2.  
            CFS 通信
          3.  
            CFS ファイルシステムのメリット
          4.  
            CFS の設定の相違点
          5.  
            CFS のリカバリ
          6.  
            データファイル格納先としての RAW ボリュームと CFS の比較
        6. Cluster Server(VCS)
          1.  
            VCS のアーキテクチャ
          2. VCS 通信
            1.  
              IMF 通知モジュールについて
          3. リソースの監視について
            1.  
              インテリジェントなリソース監視の動作方法
          4.  
            クラスタ設定ファイル(Cluster configuration files)
        7.  
          I/O フェンシングについて
        8. Oracle RAC のコンポーネント
          1. Oracle Clusterware/Grid Infrastructure
            1.  
              VCS との共存
          2.  
            OCR(Oracle Cluster Registry)
          3. アプリケーションリソース
            1.  
              リソースプロファイル
            2.  
              Oracle Clusterware/Grid Infrastructure のノードアプリケーション
            3.  
              Voting disk
        9. Oracle Disk Manager
          1.  
            ODM のアーキテクチャ
          2.  
            Veritas ODM の処理速度の拡張
          3.  
            ODM 通信
        10. RAC の機能拡張
          1.  
            Veritas Cluster Server Membership Manager
          2.  
            Veritas Cluster Server プロセス間通信
          3.  
            Oracle とキャッシュフュージョントラフィック
      4.  
        SF Oracle RAC クラスタの状態の定期的評価
      5. Virtual Business Service について
        1.  
          Virtual Business Services の機能
        2.  
          Virtual Business Service の設定例
      6.  
        Veritas InfoScale Operations Manager について
      7.  
        Veritas SORT (Services and Operations Readiness Tools) について
    2. SF Oracle RAC とそのコンポーネントの管理
      1. SF Oracle RAC の管理
        1.  
          SF Oracle RAC の環境変数設定
        2. 各ノードの SF Oracle RAC の起動または停止
          1.  
            スクリプトベースのインストーラを使った SF Oracle RAC の起動
          2.  
            手動による各ノードでの SF Oracle RAC の起動
          3.  
            スクリプトベースのインストーラを使った SF Oracle RAC の停止
          4.  
            手動による各ノードでの SF Oracle RAC の停止
        3.  
          SF Oracle RAC ノードへの Oracle パッチの適用
        4.  
          コンテナデータベース (CDB) 間でのプラグ可能データベース (PDB) の移行
        5.  
          Veritas Volume Manager、Veritas File System、または ODM のパッチの SF Oracle RAC ノードへのインストール
        6.  
          SF Oracle RAC ノードへのオペレーティングシステムの更新の適用
        7.  
          SF Oracle RAC クラスタへのストレージの追加
        8.  
          ストレージ障害からのリカバリ
        9.  
          Veritas NetBackup を使った Oracle データベースのバックアップとリストア
        10.  
          SF Oracle RAC クラスタの処理効率の向上
        11.  
          SmartIO の管理
        12.  
          オフホスト処理のスナップショットの作成
        13.  
          SmartTier による効率的なデータベースストレージ管理
        14.  
          シンプロビジョニングと SmartMove によるデータベースストレージの最適化
        15.  
          SF Oracle RAC クラスタの定期的診断のスケジュール設定
        16.  
          VCSMM モジュールを起動および停止するための環境変数の使用
        17.  
          SF Oracle RAC クラスタのノードの検証
        18.  
          Solaris 11 システムでのプライマリ BE への復帰
      2. VCS の管理
        1.  
          利用可能な Veritas デバイスドライバの表示
        2.  
          VCS の起動と停止
        3.  
          VCS モジュールを起動および停止するための環境変数
        4.  
          LLT リンクの追加と削除
        5.  
          LLT 配下の集約インターフェースの設定
        6.  
          クラスタの詳細と LLT リンクの LLT バージョンの表示
        7.  
          LLT の宛先ベースの負荷分散の設定
        8.  
          エージェントに対するインテリジェントなリソース監視の手動による有効化と無効化
        9.  
          AMF カーネルドライバの管理
      3. I/O フェンシングの管理
        1.  
          I/O フェンシングの管理について
        2. vxfentsthdw ユーティリティについて
          1.  
            vxfentsthdw ユーティリティを使うための一般的なガイドライン
          2.  
            vxfentsthdw コマンドのオプションについて
          3. vxfentsthdw の -c オプションを使ったコーディネータディスクグループのテスト
            1.  
              障害のあるディスクの削除と交換
          4.  
            -r オプションを使った、ディスク上での非破壊テストの実行
          5.  
            vxfentsthdw -m オプションを使った、共有ディスクのテスト
          6.  
            vxfentsthdw -f オプションを使った、ファイルにリストされた共有ディスクのテスト
          7.  
            vxfentsthdw -g オプションを使った、ディスクグループ内の全ディスクのテスト
          8.  
            既存のキーによるディスクのテスト
        3. vxfenadm ユーティリティについて
          1.  
            I/O フェンシング登録キーの形式について
          2.  
            I/O フェンシング登録キーの表示
          3.  
            ノードが同じディスクを参照することを確認
        4. vxfenclearpre ユーティリティについて
          1.  
            すでに存在するキーの削除
        5. vxfenswap ユーティリティについて
          1.  
            クラスタがオンラインのときの I/O フェンシングコーディネータディスクの置き換え
          2.  
            オンラインになっているクラスタ内のコーディネータディスクグループの置き換え
          3.  
            回復したサイトからコーディネータディスクグループへのディスクの追加
          4.  
            コーディネータディスク上の紛失キーのリフレッシュ
        6.  
          優先フェンシングポリシーの有効化と無効化
        7.  
          I/O フェンシングのログファイルについて
        8.  
          インストーラを使ったディスクベースのフェンシングからサーバーベースのフェンシングへの移行
        9.  
          インストーラを使ったサーバーベースのフェンシングからディスクベースのフェンシングへの移行
      4. CP サーバーの管理
        1.  
          サーバー型のフェンシングのコーディネーションポイントの登録キーの更新
        2.  
          オンラインクラスタでサーバーベースのフェンシングに使うコーディネーションポイントの置き換え
        3.  
          CP サーバーと SF Oracle RAC クラスタの通信に対する設定の非セキュアからセキュアへの移行
      5. CFS の管理
        1.  
          VCS 設定への新しい CFS システムの追加
        2.  
          CFS ファイルシステムのサイズ変更
        3.  
          CFS ファイルシステムノードと各ノードのマウントポイントの状態の確認
      6. CVM の管理
        1.  
          すべての CVM 共有ディスクの一覧表示
        2.  
          手動による CVM クラスタメンバーシップの確立
        3. CVM マスターの手動での変更
          1.  
            マスターの手動での変更に関する注意事項
          2.  
            CVM マスター切り替え時のエラー
        4.  
          共有ディスクグループの手動インポート
        5.  
          共有ディスクグループの手動デポート
        6.  
          手動による共有ボリュームの起動
        7.  
          CVM が SF Oracle RAC クラスタで実行されているかどうかの確認
        8.  
          CVM メンバーシップの状態の確認
        9.  
          CVM 共有ディスクグループの状態の確認
        10.  
          アクティブ化モードの確認
      7. Flexible Storage Sharing の管理
        1.  
          Flexible Storage Sharing ディスクサポートについて
        2.  
          Flexible Storage Sharing ディスクグループのボリュームレイアウトについて
        3.  
          ホスト接頭辞の設定
        4.  
          Flexible Storage Sharing のディスクのエクスポート
        5.  
          ディスクグループでの Flexible Storage Sharing 属性の設定
        6.  
          ホストのディスククラスと割り当てストレージの使用
        7.  
          vxassist を使用したミラー化ボリュームの管理
        8.  
          エクスポートしたディスクとネットワーク共有ディスクグループの表示
        9. ディスクグループ設定データのバックアップとリストア
          1.  
            FSS ディスクグループ設定データのバックアップと復元
      8. SF Oracle RAC のグローバルクラスタの管理
        1.  
          ディザスタリカバリファイアドリルの設定について
        2. ファイアドリル設定ウィザードを使用するファイアドリルサービスグループの設定について
          1.  
            ファイアドリル設定ウィザードの実行
          2.  
            ファイアドリルサービスグループ内のローカル属性の設定について
        3.  
          正常なファイアドリルの確認
        4.  
          ファイアドリルスケジュールの作成
        5.  
          ファイアドリルサービスグループの設定例
  2. 第 II 部 処理速度とトラブルシューティング
    1. SF Oracle RAC のトラブルシューティング
      1. SF Oracle RAC のトラブルシューティングについて
        1. サポート分析用の SF Oracle RAC クラスタからの情報の収集
          1.  
            SORT データコレクタを使った設定情報の収集
          2.  
            サポート分析用の SF Oracle RAC 情報の収集
          3.  
            サポート分析用の VCS 情報の収集
          4.  
            サポート分析用に LLT と GAB の情報を収集する
          5.  
            サポート分析用の IMF 情報の収集
        2. SF Oracle RAC ログファイル
          1.  
            重要な CVM ログの収集
        3.  
          SF Oracle RAC のカーネルとドライバのメッセージについて
        4.  
          SF Oracle RAC クラスタのカーネルメモリ破損のトラブルシューティング
        5. VCS メッセージログ
          1.  
            GAB メッセージのログ
          2.  
            デバッグログのタグの使用法について
          3.  
            エージェントのデバッグログの有効化
          4.  
            VCS エンジンのデバッグログの有効化
          5.  
            IMF のデバッグログの有効化
          6.  
            メッセージカタログ
      2.  
        ネットワーク接続に失敗した後のインストーラの再起動
      3.  
        インストーラでクラスタの UUID を作成できない
      4.  
        SF Oracle RAC インストール前検査の失敗のトラブルシューティング
      5.  
        LLT 診断時のトラブルシューティングに対する警告メッセージ
      6.  
        SF Oracle RAC クラスタの LMX と VCSMM 診断時の警告メッセージのトラブルシューティング
      7. I/O フェンシングのトラブルシューティング
        1.  
          起動時の SCSI 予約エラー
        2.  
          SCSI TEST UNIT READY コマンドが失敗すると、vxfentsthdw ユーティリティが失敗する
        3.  
          他のノードが除外されている間、ノードはクラスタを参加させられない
        4.  
          システムパニックによって潜在的なデータ破損が防止される
        5.  
          コーディネータディスクの I/O フェンシングキーのクラスタ ID がローカルクラスタの ID と一致しない
        6. フェンシングの起動時にすでに発生しているスプリットブレイン状態が報告される
          1.  
            すでに発生しているスプリットブレイン状態のクリア
        7.  
          登録済みのキーがコーディネータディスクから失われている
        8.  
          クラスタがオフラインになっているときに不具合のあるディスクの置換
        9.  
          I/O フェンシング診断時のトラブルシューティングに対する警告メッセージ
        10. CP サーバーのトラブルシューティング
          1.  
            CP サーバーサービスグループに関連する問題のトラブルシューティング
          2.  
            CP サーバーの接続の確認
        11. SF Oracle RAC クラスタノードでのサーバーベースのフェンシングのトラブルシューティング
          1.  
            サーバーベースのフェンシング用に設定された SF Oracle RAC クラスタ ノードでのフェンシング起動時の問題
        12. コーディネーションポイントのオンライン移行中の問題
          1.  
            vxfenswap コマンド実行後の vxfen サービスグループのアクティビティ
      8. SF Oracle RAC クラスタの Cluster Volume Manager のトラブルシューティング
        1.  
          ケーブル切断後のホストとディスク間の通信の復元
        2.  
          共有ディスクグループを SF Oracle RAC クラスタにインポートできない
        3.  
          SF Oracle RAC クラスタでの共有ディスクグループのインポートエラー
        4.  
          SF Oracle RAC クラスタで CVM を起動できない
        5.  
          CVM グループが SF Oracle RAC クラスタへのノード追加後オンラインではない
        6.  
          CVMCluster が SF Oracle RAC クラスタでオンラインでも CVMVolDg がオンラインにならない
        7.  
          SF Oracle RAC クラスタに共有ディスクが表示されない
      9. CFS のトラブルシューティング
        1.  
          root ユーザーの <library> パスの順序が正しくない
      10. VCSIPC のトラブルシューティング
        1.  
          Oracle トレースまたはログファイル内の VCSIPC エラー
      11. Oracle のトラブルシューティング
        1.  
          Oracle ログファイル
        2.  
          Oracle Note
        3.  
          Oracle Universal Installer が、Oracle Grid Infrastructure 11.2.0.4 のインストール中に突然終了する
        4.  
          Oracle Clusterware のインストール中に OUI でクラスタ設定画面にノード名が表示されない
        5.  
          SF Oracle RAC での Oracle インスタンスの起動時のエラー
        6.  
          Oracle グループの障害のクリア
        7.  
          手動でシャットダウンしていないときでも Oracle ログファイルにシャットダウンの呼び出しがある
        8.  
          Oracle Clusterware プロセスが起動に失敗する
        9.  
          再起動後に Oracle Clusterware が失敗
        10.  
          SF Oracle RAC クラスタにおける VIP 設定のトラブルシューティング
        11.  
          SF Oracle RAC クラスタ内の Oracle Clusterware 診断時の警告メッセージのトラブルシューティング
      12. SF Oracle RAC クラスタの ODM のトラブルシューティング
        1.  
          ODM に不正に設定されたファイルシステムが Oracle を停止する
      13.  
        SF Oracle RAC クラスタの Flex ASM のトラブルシューティング
    2. 防止と修復の戦略
      1.  
        SF Oracle RAC クラスタの GAB ポートの確認
      2.  
        GAB シードメンバーシップの確認
      3.  
        手動による GAB メンバーシップのシード
      4.  
        VCS I/O フェンシングポートの評価
      5.  
        VCS I/O フェンシングの正常機能の確認
      6. SF Oracle RAC クラスタでの SCSI-3 PR キーの管理
        1.  
          ホストから LUN へのパスが複数ある場合のコーディネータ LUN 上の SCSI-3 PR キー数の評価
        2.  
          コーディネータ LUN からの SCSI-3 PR キーの不測の削除の検出
      7.  
        障害が発生したコーディネータ LUN の識別
    3. チューニングパラメータ
      1.  
        SF Oracle RAC のチューニングパラメータについて
      2. GAB のチューニングパラメータについて
        1.  
          GAB のロード時チューニングパラメータまたは静的チューニングパラメータについて
        2.  
          GAB の実行時チューニングパラメータまたは動的チューニングパラメータについて
      3. LLT のチューニングパラメータについて
        1.  
          LLT タイマーチューニングパラメータについて
        2.  
          LLT フロー制御チューニングパラメータについて
        3.  
          LLT タイマーチューニングパラメータの設定
      4. LMX のチューニングパラメータについて
        1. LMX のチューニングパラメータ
          1.  
            LMX モジュールの再設定
      5. チューニングパラメータ VXFEN について
        1.  
          VXFEN モジュールパラメータの設定
      6.  
        キャンパスクラスタのチューニングガイドライン
  3. 第 III 部 参照
    1. 付録 A. SF Oracle RAC 診断の一覧
      1.  
        LLT 診断
      2.  
        SF Oracle RAC クラスタ内の LMX の診断
      3.  
        I/O フェンシングの診断
      4.  
        SF Oracle RAC クラスタ内の PrivNIC の診断
      5.  
        SF Oracle RAC クラスタ内の Oracle Clusterware の診断
      6.  
        SF Oracle RAC クラスタ内の CVM、CFS、および ODM の診断
    2. 付録 B. エラーメッセージ
      1.  
        エラーメッセージについて
      2. SF Oracle RAC の LMX エラーメッセージ
        1.  
          SF Oracle RAC の重要度の高い LMX エラーメッセージ
        2.  
          重要度の低い SF Oracle RAC の LMX エラーメッセージ
      3.  
        VxVM エラーメッセージ
      4. VXFEN ドライバのエラーメッセージ
        1.  
          VXFEN ドライバの情報メッセージ
        2.  
          ノードの除外情報メッセージ

LLT フロー制御チューニングパラメータについて

表: LLT フロー制御チューニングパラメータ に、LLT フロー制御チューニングパラメータのリストを示します。 フロー制御の値はパケット数で設定します。 lltconfig -F query コマンドを使って、現在のフロー制御の設定を表示できます。

表: LLT フロー制御チューニングパラメータ

LLT パラメータ

説明

デフォルト

変更のタイミング

他の LLT チューニングパラメータとの依存関係

highwater

ノードの送信キュー内のパケット数が highwater に達すると、LLT はフロー制御されます。

200

クライアントがバースト方式でデータを生成する場合は、着信データ速度に合わせてこの値を増やします。値を大きくするとメモリの消費量が増えるので、不必要にメモリを浪費しないように適切な値を設定してください。

値を小さくすると、クライアントを不必要にフロー制御する可能性があります。

このフロー制御値は lowwater フロー制御値より常に高くする必要があります。

lowwater

LLT がクライアントのフロー制御を行っているときは、ノードに対するポート送信キュー内のパケット数が lowwater に低下するまで、パケットの受け付けを再開しません。

100

ベリタスでは、このチューニングパラメータを変更することは推奨しません。

このフロー制御値は highwater フロー制御値より低くする必要があります。 highwater フロー制御値に近い値を設定しないようにする必要があります。

rporthighwater

ポートの受信キュー内のパケット数が highwater に達すると、LLT はフロー制御されます。

200

クライアントがバースト方式でデータを生成する場合は、着信データ速度に合わせてこの値を増やします。値を大きくするとメモリの消費量が増えるので、不必要にメモリを浪費しないように適切な値を設定してください。

値を小さくすると、ピアノード上のクライアントを不必要にフロー制御する可能性があります。

このフロー制御値は rportlowwater フロー制御値より常に高くする必要があります。

rportlowwater

LLT がピアノード上のクライアントのフロー制御を行っているときは、ポートに対するポート受信キュー内のパケット数が rportlowwater に低下するまで、そのクライアントに対するパケットの受け付けを再開しません。

100

ベリタスでは、このチューニングパラメータを変更することは推奨しません。

このフロー制御値は rpothighwater フロー制御値より低くする必要があります。 rporthighwater フロー制御値に近い値を設定しないようにする必要があります。

window

LLT が ACK を受信せずに送信するパケットの最大数です。

50

パフォーマンス上の理由により、デフォルトでは、ポート 5(cfs)およびポート 24(cvm)でアダプティブウィンドウ機能が有効になっています。他のポートについては、/etc/sysconfig/llt ファイルの LLT_AW_PORT_LIST パラメータの値を変更することで、アダプティブウィンドウを手動で有効にできます。

  • アダプティブウィンドウを無効にするには、LLT_ENABLE_AWINDOW パラメータの値をゼロに設定します。

  • 5 および 24 以外のポートでアダプティブウィンドウを有効にするには、LLT_AW_PORT_LIST にポート番号をカンマで区切って追加します。たとえば、LLT_AW_PORT_LIST=: '"5,24,0,1,5,14"' のように指定します。

  • LLT_AW_PORT_LIST パラメータにリストされている以外のポートのウィンドウサイズを設定する場合は、プライベートネットワーク速度に合わせて window パラメータの値を変更します。 例: set-flow window: 2000

プライベートネットワークの速度に応じて値を変更します。ネットワークの速度に関係なく値を下げると、ウィンドウ順序が異なるパケットの不必要な再送信が発生する可能性があります。

このフロー制御値は、highwater フロー制御値と lowwater フロー制御値の差よりより大きくしないようにする必要があります。

このパラメータ(window)の値は帯域幅を遅延させる製品の値に合わせる必要があります。

linkburst

これは、次のリンクが選択される前に LLT がリンク上で送信するバックツーバックパケットの数を表します。

32

パフォーマンス上の理由から、値は 0 または少なくとも 32 にする必要があります。

このフロー制御値は、highwater フロー制御値と lowwater フロー制御値の差よりより大きくしないようにする必要があります。

ackval

LLT は、次のアウトバウンドデータパケットの ACK パケットに便乗することでパケットの肯定応答を送信者ノードに送信します。 ACK パケットを便乗させるデータパケットがない場合、LLT は送信者に明示的な ACK を送信する前に ackval 個のパケットを待ちます。

10

パフォーマンス上の理由からこの値を変更しないでください。 値を大きくすると不必要な再送信が発生する可能性があります。

適用不可能

sws

Silly Window Syndrome を避けるため、LLT は ACK 未受信パケットの数がこのチューニングパラメータの値より低下した場合にのみ、さらにパケットを伝送します。

40

パフォーマンスの理由のため、window チューニングパラメータの値が変更されたときは常に、次の式に従ってこのパラメータの値を変更する必要があります(sws = window *4/5)。

このパラメータの値は window の値より小さくする必要があります。 このパラメータの値は window チューニングパラメータの値に近くする必要があります。

largepktlen

パケットを複数のポートに送信する場合、LLT は 1 つのポートに対して一度に大きいパケットを 1 つ、または小さいパケットを 5 つまで送信します。このパラメータは大きいパケットのサイズを指定します。

1024

ベリタスでは、このチューニングパラメータを変更することは推奨しません。

適用不可能