Dragon Arrow written by Tatsuya Nakaji, all rights reserved animated-dragon-image-0164

gsutilでGCS (Google Cloud Storage)を操作

updated on 2020-02-12

GCS (Google Cloud Storage)の操作手順


概要


機械学習なり、webサービスなり、データを保管するストレージが必要な時は多々あります。 今回は、GoogleのVMインスタンスからGCSにデータをコピーしたり、読み込みなどの操作を行うための手順を紹介します。


GCS


Google Cloud Storage(以下、GCS)はGoogle Cloud Platform(以下、GCP)のストレージサービスの1つ。
ファイルの静的配信に利用できるほか、GCPの各種サービスのデータストアとしても利用可能。


前提


1. Google Cloudのアカウントを所持している 
2. VMインスタンスもしくは、自分のパソコンにGoogle Cloud SDKがインストールされている(gsutilコマンドを使用できる)


手順


1. Google Cloud Storage からバケットを手動で作成

難しくないので、説明は省きます。


2. オブジェクトのバージョニングの有効化

オブジェクトのバージョニングを有効にすると、オブジェクトのライブ バージョンが上書きまたは削除されるたびに、Cloud Storage によってオブジェクトのアーカイブ済みバージョンが作成されます。

$ gsutil versioning set on gs://[BUCKET_NAME]


もし、バケットでオブジェクトのバージョニングを無効にしたい時は:

$ gsutil versioning set off gs://[BUCKET_NAME]


3. オブジェクトのバージョニングが有効になっているかどうかの確認

$ gsutil versioning get gs://[BUCKET_NAME]

オブジェクトのバージョニングが有効になっている場合のレスポンスは次のようになります。

gs://[BUCKET_NAME]: Enabled


4. VMインスタンスのファイル(もしくはフォルダ)をコピー


$ gsutil -m cp -r 'VMFolderPath' gs://[BUCKET_NAME]

例えば、 gsutil -m cp -r /data gs://sample_bucket とすれば、sample_bucketにdataフォルダーがコピーされます。



その他の操作が知りたい人は公式ページの以下を参照