Storage Foundation 8.0.2 管理者ガイド - Linux

重複排除のチャンクサイズについて

重複排除のチャンクサイズは、重複排除の詳細度とも呼ばれ、フィンガープリントが計算される単位です。 有効なチャンクサイズは、4k から 128k の間の 2 の累乗です。 設定されると、チャンクサイズを変更する唯一の方法は、ファイルシステム上で重複排除を削除し、再び有効にする方法です。

重複排除とリソース要件に重大な影響を及ぼすため、チャンクサイズは慎重に選択する必要があります。 サイズは、重複排除データベースのフィンガープリントレコード数、およびこれらのレコードのソートに必要な一時領域に直接影響します。 チャンクサイズが小さいとフィンガープリントの数が多くなり、重複排除データベースにかなりの領域が必要になります。

重複排除を行って節約できるストレージ領域はデータセットおよびデータセット内での重複の分布に大きく依存しますが、節約できるストレージ領域にはチャンクサイズも大きく影響します。 重複排除後に最善の結果を得るには、使用しているデータセットについて理解する必要があります。 一般的には、チャンクサイズが小さいほど、より多くのストレージを節約できます。 チャンクサイズが小さいとフィンガープリントがより細かくなり、結果として、通常、より多くの重複を特定できます。 ただし、チャンクが小さいと、データベースサイズ、重複排除時間、さらに重要なことには断片化の面での負荷が高くなります。 チャンクサイズが小さいと、重複排除データベースサイズはかなり大きくなることがあります。 断片化の程度が高いと、通常、ファイルシステムメタデータが多くなり、結果としてより多くのストレージが必要になります。 重複排除データベースが消費する領域と、ファイルシステムのメタデータの増加により、重複排除で節約できる領域が少なくなります。 さらに、断片化も、パフォーマンスに悪影響を及ぼすことがあります。 Veritas File System（VxFS）の重複排除アルゴリズムでは、連続した複数の重複チャンクをまとめることによって、断片化を減らすようにします。

チャンクサイズが大きいと、通常、重複排除データベースのサイズが小さくなり、重複排除の処理が高速化し、断片化が少なくなります。 これらの利点により、節約されるストレージ領域が少なくなることがあります。 サイズの小さい重複ファイルが多数存在する場合は、ファイルサイズよりも大きいチャンクサイズを選択する方法があります。 チャンクサイズの方が大きいと、それよりも小さいファイルの重複排除には影響しません。 この場合、フィンガープリントはファイル全体を対象に計算され、重複排除されます。

16 K 以上のチャンクサイズを推奨します。

重複排除データベースが消費する領域は、ファイルシステムと重複排除チャンクサイズのデータ量で表されます。 重複排除データベースが消費する領域は、新しいデータがファイルシステムに追加されるにつれて時間とともに大きくなります。 フィンガープリントのソートなどに一時的に使用するため、追加ストレージが必要になります。 一時ストレージは、作業完了後に解放できます。 重複排除が正常に完了できるように、十分な空き領域があることを確認してください。 ファイルシステムの空き領域が 15% 未満であると、重複排除は開始しないことがあります。 チャンクサイズが小さい場合に重複排除を実行するには、空き領域が 15% 以上必要になることがあります。 一般に、チャンクサイズが大きいほど、消費される領域は大幅に少なくなります。 チャンクサイズが 4 K の場合は、約 20% の空き領域があることを推奨します。