Amazon FSx for Lustre のよくある質問

Amazon FSx for Lustre ファイルシステムを Amazon S3 バケットにリンクすると、FSx for Lustre はファイルシステムにおいて S3 データへの透過的なアクセスを可能にします。

Amazon FSx コンソール、AWS CLI、または Amazon FSx API を使用してデータリポジトリアソシエーションを作成することにより、S3 バケットにファイルシステムをリンクできます。S3 バケット内のオブジェクトの名前が、ファイルシステムにファイルとディレクトリのリストとして表示されます。指定されたオブジェクトの実際の内容は、ファイルシステムの関連ファイルに初めてアクセスしたときにのみ、S3 から自動的にインポートされます。つまりオブジェクトのデータは、ファイルシステム上で 1 回以上アクセスされない限り、ファイルシステムの領域を使用しません。

FSx for Lustre は、S3 バケットとリンクすることで、S3 バケットにオブジェクトが追加、変更、削除されると、ファイルシステムの内容を自動的に更新することができます。また FSx for Lustre は、ファイルがファイルシステムに追加、変更、またはファイルシステムから削除されると、リンクされた S3 バケットのコンテンツを自動的に更新することができます。

Amazon FSx for Lustre では並列のデータ転送手法を利用して、S3 との間で毎秒最大数百 GB 単位のデータを転送できます。

FSx for Lustre を設定して、ファイルシステムとリンクされた S3 バケット間でコンテンツの同期を双方向に保つことができます。S3 バケット内のオブジェクトに変更を加えると、FSx for Lustre は変更を自動的に検出してファイルシステムにインポートします。ファイルシステム内のファイルに変更を加えると、FSx for Lustre は変更を S3 バケットに自動的にエクスポートします。

自動インポートと自動エクスポートの両方で、ファイルの追加、変更、および削除をインポートまたはエクスポートすることを選択できます。このような設定は、S3 バケットをリンクするとき、または後で AWS CLI、Amazon FSx API、または Amazon FSx コンソールを使用してデータリポジトリの関連付けを更新することで行えます。 自動インポートと自動エクスポートの両方のモニタリングの詳細については、「Amazon CloudWatch でのモニタリング」を参照してください。

または、自動インポートと自動エクスポートを使用する代わりに、ファイルシステムと S3 の間で新しいデータと変更されたデータのバッチをインポートおよびエクスポートして、データ同期をきめ細かく制御することもできます。AWS CLI、API、またはコンソールを使用して、インポートまたはエクスポートタスクを実行できます。

S3 とファイルシステムのどちらでファイルを変更しても、それぞれが受け取った順番に更新を持続します。S3 バケットとファイルシステムの両方で同じファイルを修正する場合、競合を防ぐために、アプリケーションレベルで更新を調整する必要があります。FSx for Lustre は、複数の場所で競合する書き込みを防止することはできません。

データリポジトリの使用に関する詳細をご覧ください。

FSx for Lustre は、ディレクトリとシンボリックリンク (symlink) を別のオブジェクトとして、S3 バケットに保存します。例えば、ディレクトリはスラッシュ (/) で終わるキー名を持つ S3 オブジェクトとして格納されます。

Amazon FSx for Lustre では、S3 との間でデータのインポートおよびエクスポートをするときに、Portable Operating System Interface (POSIX) メタデータとファイルおよびディレクトリのパーミッションを自動的に転送します。POSIX メタデータは、S3 オブジェクトのメタデータとして、他の AWS のサービスで使用されるものと同じ形式で格納されます。

詳細については、「データリポジトリの POSIX メタデータサポート」を参照してください。

はい。同じ S3 バケットにリンクされた FSx for Lustre ファイルシステムを複数作成できます。これにより複数の FSx for Lustre ファイルシステムに反映される S3 の共通データセットを維持したり、1 つの FSx ファイルシステムでの計算結果を別のファイルシステムでデータを処理しているユーザーと共有したりできます。 リンクされたどのファイルシステムでもファイルを修正することができます。S3 および各ファイルシステムは、更新を受け取った順番に更新を持続します。複数のファイルシステムで同じファイルを修正する場合、アプリケーションレベルで更新を調整し、競合を防止する必要があります。FSx for Lustre は、複数の場所で競合する書き込みを防止することはできません。

データリポジトリタスクを使用して、S3 にリンクされたファイルシステムから使用頻度の低いデータを解放できます。ファイルデータを解放するデータリポジトリタスクを作成する場合、解放するディレクトリまたはファイルのパスを指定できます。また、オプションで、ファイルへの最終アクセスから解放対象になるまでの最小時間を指定できます。

ファイルシステムデータの解放に関する詳細をご覧ください。

いいえ。ファイルシステムのデータを解放しても、ファイルシステムが満杯にならないという保証はありません。ファイルシステムデータを解放すると、リンクされた Amazon S3 バケットにエクスポートされた使用頻度の低いデータを削除できるため、使用可能なストレージが最適化されます。

Amazon FSx for Lustre のファイルシステムは、毎秒 TB 単位のスループットに 100 万単位の IOPS という規模になります。FSx for Lustre は、数千のコンピューティングインスタンスからの同じファイルまたはディレクトリへの同時アクセスをサポートしています。FSx for Lustre では、ファイル操作に一貫してミリ秒未満のレイテンシーを提供します。

詳細については、Amazon FSx のパフォーマンスに関するドキュメントを参照してください。

EFA 対応のファイルシステムは、10 GB/秒を超える最高レベルの集約スループットを必要とするワークロードや、コンピューティング最適化インスタンス (EFA がサポートする nitro v4 以上のインスタンス) を利用するワークロード向けに最適化されています。EFA 非対応のファイルシステムは、さまざまなパフォーマンスニーズを持ち、ファイルシステムのスループット階層を変更する能力からメリットを得る小規模なワークロード向けに最適化されています。

FSx for Lustre ファイルシステムでは、プロビジョニングされたストレージの各 TiB のスループットを自動的にプロビジョニングします。SSD ベースのファイルシステムは、プロビジョニングされたストレージの TiB あたり 125、250、500、または 1,000 MB/秒のスループットでプロビジョニングできますHDD ベースのファイルシステムは、プロビジョニングされたストレージの TiB あたり 12、または 40 MB/秒のスループットでプロビジョニングできます

Amazon FSx コンソールで [更新] をクリックするか、AWS CLI/API で [UpdateFileSystem] を呼び出して目的のストレージ容量を指定することで、ファイルシステムのストレージ容量を増やすことができます。

「自動」モードまたは「ユーザープロビジョニング」モードを使用してメタデータ IOPS をプロビジョニングすることを選択できます。自動モードでは、Amazon FSx はファイルシステムのストレージキャパシティに基づいてメタデータ IOPS を自動的にプロビジョニングします。ユーザープロビジョニングモードでは、プロビジョニングするメタデータ IOPS の数を指定できます。

ファイルシステムの読み取り/書き込みパフォーマンスを調整したいが、ファイルシステムにデータを追加する予定がない場合は、ファイルシステムのスループット階層を変更する必要があります。ファイルシステムにデータを追加する場合、またはファイルシステムがサポートされている最高のスループット階層 (1000 MB/秒など) で、読み取り/書き込みパフォーマンスを向上させたい場合は、ファイルシステムのストレージ容量を変更する必要があります。

Amazon FSx for Lustre は、それぞれが独自のストレージを持つ複数のネットワークファイルサーバーにデータとメタデータを保存します。ファイルシステムのストレージ容量の更新をリクエストすると、Amazon FSx は新しいネットワークファイルサーバーを自動的に追加し、メタデータサーバーをスケーリングします。ストレージ容量をスケーリングしている間、ファイルシステムが数分間利用できなくなる場合があります。ファイルシステムが利用できないときに送信されたクライアントリクエストは、透過的に再試行され、スケーリングが完了した後に最終的に成功します。

スケーリング後、FSx は、古いファイルサーバーと新しく追加されたファイルサーバーにデータを再配布することにより、ファイルシステムを透過的に最適化します。この最適化プロセスはバックグラウンドで実行され、ファイルシステムに保存されているデータの量に応じて、数時間から数日かかる場合があります。バックグラウンド最適かプロセスは、ワークロードのパフォーマンスにほとんど影響を与えません。Amazon FSx コンソールまたは AWS CLI/API を使用して、いつでも最適化プロセスの進行状況を追跡できます。詳細については、「Managing Storage Capacity」ドキュメントをご覧ください。

Amazon FSx for Lustre は、1 つ以上のメタデータサーバーにメタデータを保存します。ファイルシステムのメタデータ IOPS の更新をリクエストすると、Amazon FSx は、プロビジョニングされた 12,000 メタデータ IOPS ごとに新しいメタデータサーバーを自動的に追加します。メタデータ IOPS を増やしている間、ファイルシステムは数分間使用できなくなる場合があります。ファイルシステムが利用できないときに送信されたクライアントリクエストは、透過的に再試行され、スケーリングが完了した後に最終的に成功します。

ファイルシステムのストレージ容量は 6 時間ごとに、新しいファイルシステムをプロビジョニングするのと同じ増分で増やすことができます。新しいスケーリングリクエストを発行するときは、最適化を含む以前のスケーリングリクエストが完了している必要があることに注意してください。

Amazon FSx は、要求されたスループット構成を満たすために、ファイルシステムに電力を供給するファイルサーバーを切り替えることによって、ファイルシステムのスループット階層を変更します。100 TiB 未満のファイルシステムのスループットをスケーリングしている間、ファイルシステムは数分間使用できなくなります。100 TiB を超えるファイルシステムの場合、そのファイルシステムは最大 1 時間使用できなくなることがあります。ファイルシステムが利用できないときに送信されたクライアントリクエストは、透過的に再試行され、スケーリングが完了した後に最終的に成功します。

場合によっては、スケーリング後に FSx がファイルシステムを最適化し、その時点でファイルシステムのネットワーク I/O、CPU、およびメモリリソースが新しいスループットレベルに対応します。この最適化プロセスには、数時間から数日かかることがあります。この間、新しいディスク I/O パフォーマンスレベルは書き込み操作に使用でき、読み取り操作では以前のレベルと新しいレベルの間のディスク I/O パフォーマンスが得られます。Amazon FSx コンソールまたは AWS CLI/API を使用して、いつでも最適化プロセスの進行状況を追跡できます。詳細については、「ストレージとスループット容量の管理」を参照してください。

FSx for Lustre ファイルシステムには、数千のコンピューティングインスタンスが同時にアクセスできます。

SSD ベースのスクラッチおよび永続ファイルシステムは、1.2 TiB のサイズまたは 2.4 TiB の増分で作成できます。TiB あたり 12 MB/秒、および 40 MB/秒のスループットを持つ HDD ベースの永続ファイルシステムは、それぞれ 6.0 TiB と 1.8 TiB の増分で作成できます。EFA 対応で SSD ベースの永続ファイルシステムは、TiB あたり 1000、500、250、および 125 MB/秒のスループット階層用に、それぞれ 4.8 TiB、8.6 TiB、19.2 TiB、および 28.4 TiB の増分で作成できます。

要望に応じて増やせるファイルシステムの数にはアカウントにつき 100 という上限があります。

Elastic Fabric Adapter (EFA) と GPUDirect Storage (GDS) は、FSx for Lustre ファイルシステムで利用できます。EFA は、カスタムビルドのオペレーティングシステムバイパス手法と AWS SRD プロトコルを使用してネットワークパフォーマンスを改善する高性能ネットワークインターフェイスです。GDS サポートは EFA に基づいて構築されており、CPU をバイパスしてファイルシステムと GPU メモリ間の直接データ転送を可能にすることで、パフォーマンスをさらに強化します。この直接パスにより、冗長なメモリコピーやデータ転送オペレーションでの CPU の関与が不要になります。EFA と GDS のサポートにより、TCP ネットワーキングを使用する FSx for Lustre ファイルシステムと比較して、個々のクライアントインスタンスに対して最大 32 倍のスループット (100 Gbps から 3,200 Gbps) を実現できます。

AWS マネジメントコンソールで [EFA サポート] を選択するか、または AWS コマンドラインインターフェイス (CLI) および AWS Software Development Kit (SDK) で「create-file-system」を呼び出す際に [EFA サポート] のパラメータを [True] に設定することによって、EFA をサポートするファイルシステムを作成できます。

EFA は、EFA 第 2 世代 (または EFAv2) をサポートし、Lustre バージョン 2.15 以降を使用しているクライアントインスタンスから EFA 対応ファイルシステムにアクセスする際に自動的に使用されます。クライアントインスタンスとファイルシステムは、Amazon VPC 内の同じサブネットに配置する必要があることに留意してください。

GDS は、すべての EFA 対応ファイルシステムで自動的にサポートされます。FSx for Lustre ファイルシステムで GDS を使用するには、EFAv2 をサポートし、Lustre バージョン 2.15 以降を使用している GPU インスタンスから EFA 対応のファイルシステムにアクセスする必要があります。また、NVIDIA Compute Unified Device Architecture (CUDA) パッケージ、オープンソースの NVIDIA ドライバー、および NVIDIA GPUDirect Storage Driver がクライアントインスタンスにインストールされている必要があります (これらのパッケージは AWS 深層学習 AMI にプリインストールされていることに留意してください)。その後、CUDA 対応アプリケーションを使用して、ファイルシステムと GPU 間のデータ転送のために GPUDirect ストレージを使用できます。

はい。EFA 対応のファイルシステムの場合、EFA 対応のクライアントインスタンスからのトラフィックは高スループットの EFA ネットワーキングパスを経由して流れ、EFA 以外のクライアントインスタンスからのトラフィックは ENA を使用して従来の TCP/IP ネットワーキングを経由して流れるため、追加の設定なしですべてのワークロードにシームレスにアクセスできます。

EFA 対応ファイルシステムは、極めて要求が厳しく、極めて大規模なワークロード向けに最適化されており、クライアントあたり最大 3,200 Gbps のスループットをサポートします(EFA 非対応ファイルシステムでは 100 Gbps)。EFAv2 をサポートするクライアントインスタンスを使用している場合 (または使用を計画している場合) は、ファイルシステムで EFA を有効にすることをお勧めします。

EFA 対応のファイルシステムは、EFA 非対応のファイルシステムよりも最小ストレージ容量の増分が大きいです (以下の表を参照)。さらに、ストレージを追加することで FSx for Lustre ファイルシステムのパフォーマンスをスケールできますが、変更できるのは EFA 非対応のファイルシステムのスループット階層 (すなわち、ストレージの TiB あたりのプロビジョンドスループット) のみです。

AWS DataSync を使用して、既存のファイルシステムから EFA および GDS をサポートするファイルシステムにデータを移行できます。S3 にリンクされたファイルシステムを使用している場合は、新しいファイルシステムを作成し、元のファイルシステムと同じ S3 バケットにリンクできます。

Amazon FSx for Lustre ファイルシステムでの EFA および GDS サポートは、追加料金なしで提供されます。

はい。Amazon FSx for Lustre では、ファイルシステムデータおよび保管時のバックアップは、お客様が管理する AWS Key Management Service (KMS) のキーを使用して常に暗号化されます。Amazon FSx は、サポートされている EC2 インスタンスからアクセスされた場合に、転送中のデータを暗号化します。転送中の暗号化がサポートされているリージョンの詳細については、「Amazon FSx ドキュメント」を参照してください。

FSx for Lustre リソースはすべて、AWS アカウントの所有となります。リソースを作成する許可やリソースにアクセスする許可はアクセス許可ポリシーによって制御されます。ファイルシステムにアクセス可能な Amazon Virtual Private Cloud (VPC) を指定したうえで、この VPC 内のどのリソースが VPC セキュリティグループを使用してファイルシステムにアクセスするかを制御します。ファイルシステムやバックアップリソースの管理 (作成、削除など) ができるユーザーを制御するには、AWS IAM を使用します。

はい。Amazon FSx では、VPC を共有している所有者アカウントと参加者アカウントの両方から、共有 Amazon Virtual Private Cloud (VPC) 内にファイルシステムを作成して使用することができます。VPC 共有により、作成および管理を要する VPC 数は削減されます。請求やアクセスコントロールにこれまでどおりの別々のアカウントを利用することも可能です。

AWS のコンプライアンスプログラムはクラウドで最も長く実行されており、AWS はコンプライアンス要件を満たせるようお客様を支援することを固く決意しております。Amazon FSx は、世界および業界のセキュリティ基準に適合していると評価されています。PCI DSS、ISO 9001、27001、27017、および 27018、ならびに SOC 1、2、3 に適合しており、さらには HIPAA 対応です。これにより、お客様が AWS のセキュリティを確認し、ご自身の義務を果たすことが容易になります。詳細とリソースについては、コンプライアンスページをご覧ください。コンプライアンスプログラムによる対象範囲内のサービスのページにアクセスして、サービスおよび認定の詳細な一覧を参照することも可能です。

短期間の処理負荷の高いワークロード向けにコストを最適化したストレージが必要な場合は、スクラッチファイルシステムをご利用ください。

長期間または無期限に実行され、可用性の中断の影響を受けやすいワークロードには、永続的ファイルシステムをご利用ください。

はい。Amazon FSx SLA では、ある請求サイクルにおいて、月間稼働率がサービスコミットメントを下回った場合にサービスクレジットを提供するよう定められています。 

Amazon FSx は、ファイルシステムのバックアップを毎日自動で作成しています。また、任意の時点でバックアップを作成することもできます。Amazon FSx のバックアップはインクリメンタルバックアップになります。これは保存された最新のバックアップについてのみ料金がかかることを意味します。データが重複しないため、バックアップストレージコストの削減になります。

または、データリポジトリの関連付けを使用して、FSx for Lustre ファイルシステムのデータを S3 バケットまたはプレフィックスと同期させることができます。FSx は S3 にリンクされている場合、ファイルシステムの自動バックアップを取りません。

バックアップは高い耐久性があり、ファイルシステムとの整合性があります。高い耐久性を確保するために、Amazon FSx は Amazon S3 に 99.999999999％ (イレブンナイン) の耐久性を持つバックアップを保存します。バックアップでは、ファイルシステムの一貫したビューも表示されます。つまり、バックアップ内のファイルのメタデータが存在する場合、ファイルの関連データもバックアップに含まれます。

デイリーバックアップウィンドウは、ファイルシステムの作成時に指定する 30 分間の時間枠です。Amazon FSx は、毎日、この時間枠でファイルシステムの自動バックアップを行います。デイリーバックアップウィンドウのある時点で、バックアッププロセスの初期化が行われている間にストレージ I/O が一時中断 (通常 2～3 秒未満) することがあります。

ファイルシステムに対して指定されるデイリーバックアップ保持期間 (デフォルトでは 7 日間) は、毎日の自動バックアップが保持される日数のことを指します。

ファイルシステムを削除すると、そのファイルシステムに関連して自動的に実行されたデイリーバックアップもすべて削除されます。ユーザー操作によって作成されたバックアップは保持されます。

永続的ストレージがあり、スタンドアロンファイルシステムである (つまり、Amazon S3 バケットにリンクされていない ) FSx for Luster ファイルシステムのバックアップを作成できます。

スクラッチファイルシステムは、データの一時的な保存と短期的な処理のために設計されているため、バックアップはスクラッチファイルシステムではサポートされていません。

Amazon S3 バケットにリンクされたファイルシステムは、バックアップをサポートしていません。この場合、S3 バケットは完全なデータセットのプライマリストレージとして機能します。ファイルシステムは、常に完全なデータセットを保持しているとは限りません。このようなファイルシステムを使用すると、FSx for Lustre は、新しいファイル、変更されたファイル、または削除されたファイルをファイルシステムから S3 バケットに自動的にエクスポートできます。

まず、AWS Backup で保護されたサービスとして Amazon FSx を有効にします。その後、AWS Backup コンソール、API、または CLI を介して Amazon FSx リソースのバックアップを設定できます。AWS Backup を介して Amazon FSx リソースの予定バックアップとオンデマンドバックアップの両方を作成し、これらのバックアップを新しい Amazon FSx ファイルシステムとして復元できます。Amazon FSx ファイルシステムは、他の AWS リソースと同じ方法で、ARN を指定するか、バックアッププランで保護するために Amazon FSx ファイルシステムにタグを付けることにより、バックアッププランに追加できます。詳細については、「AWS Backup ドキュメント」をご覧ください。

AWS Backup でバックアッププランを設定して、希望の頻度と保持ポリシーで、Amazon FSx ファイルシステムのバックアップを定期的に作成し、他の AWS リージョン、他の AWS アカウント、またはその両方にコピーできます。クロスアカウントバックアップコピーの場合、AWS Organizations の管理アカウントを使用して、送信元アカウントと送信先アカウントを指定します。

料金は、使用したリソースに対してのみ発生します。詳細については、Amazon FSx for Lustre 料金ページを参照してください。

ストレージ容量のスケーリングリクエストは、ファイルシステムに新しいストレージ容量を追加することによって処理されます。新しいファイルサーバーがファイルシステムに追加され、ファイルシステムのステータスが UPDATING から AVAILABLE に変わると、新しいストレージ容量に対して料金が請求されます。

スループットスケーリングリクエストは、ファイルシステムを駆動するファイルサーバーを交換することによって処理されます。ファイルサーバーが交換され、ファイルシステムのステータスが UPDATING から AVAILABLE に変わると、新しいスループット階層の料金が請求されます。 

別途記載がない限り、表示される料金には VAT、売上税その他取引に対して適用される一切の税金等および関税は含まれません。日本の居住者であるお客様が AWS サービスをご利用になった場合には、料金とあわせて別途消費税をご請求させていただきます。詳細はこちら。