FutureStandard MAKERS

東京にある映像解析プラットフォーム「SCORER」の開発をしているスタートアップのブログです

あなたのS3バケットにSCORERのデータを全部自動転送できる「Export Service」機能リリース!

f:id:FutureStandard:20180814233414p:plain
長らくお待たせいたしました。
SCORERをつかってもデータのダウンロードがWEB経由オンリーだったためどうしても検証程度の用途にしか使えませんでした。
今回ご用意したのはSCORERの「データはお客様のもの、SCORERは加工する包丁を提供するだけ」という理念のもと、すべての取集・解析データをユーザーのS3バケットに自動転送する機能です。

f:id:FutureStandard:20180820192329p:plain
(SCORER全体構成図の赤丸の部分の解説です)

比較的IT上級者向けの内容ですが初心者の方でも手順通りに行えば設定が可能になります。

利用方法

AWSと契約

まずAWSと契約しなければAWS S3は使えません。
公式ページに契約の仕方がありますのでこちらで契約しましょう(何もしなければお金は発生しません)
aws.amazon.com

S3バケットを作成

契約が完了したら早速データの保存先となるS3バケットを作成しましょう。こちらも公式のチュートリアルに従って作成が可能です。
docs.aws.amazon.com
この際バケット名は任意で構いませんが、Regionは
「アジアパシフィック(東京)」
に必ずしてください
その他はデフォルトでも問題ないかと思います。

ユーザーを作成し、権限設定を行う

このS3バケットにアクセスできるユーザーを登録します。
ユーザー追加の前にアクセス権限を定めたポリシーを設定する必要があるため、まずポリシーを作成してからユーザーを追加しましょう。

ポリシーの追加

AWSのメニュー(オレンジのユーザー名)から「セキュリティ認証情報」を選択
f:id:FutureStandard:20180820184131p:plain

「ポリシー」のメニューを選択し、「ポリシーの作成」を選択
f:id:FutureStandard:20180820184304p:plain

JSONを編集し黒塗り部分をご自身のバケット名に変更して「ReviewPolicy」
f:id:FutureStandard:20220206124914p:plain
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "VisualEditor0",
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObjectAcl",
"s3:GetObject",
"s3:ListBucketMultipartUploads",
"s3:ListBucketVersions",
"s3:ListBucket",
"s3:GetBucketLocation",
"s3:ListMultipartUploadParts"
],
"Resource": [
"arn:aws:s3::■/*",
"arn:aws:s3:::■"
]
},
{
"Sid": "VisualEditor1",
"Effect": "Allow",
"Action": [
"s3:ListStorageLensConfigurations",
"s3:ListAccessPointsForObjectLambda",
"s3:ListAllMyBuckets",
"s3:ListAccessPoints",
"s3:ListJobs",
"s3:ListMultiRegionAccessPoints"
],
"Resource": "*"
}
]
}

ポリシー名を任意の命名で設定し「Create Policy」
f:id:FutureStandard:20180820185253p:plain

ユーザーの追加

「ユーザー」内の「ユーザーを追加」をクリック
f:id:FutureStandard:20180820190351p:plain
ユーザー名を入力し、アクセスの種類をプログラムによるアクセスを選択し、次のステップ
f:id:FutureStandard:20180820190502p:plain

既存のポリシーを直接アタッチにし、ポリシーのフィルタでユーザーによる管理を選択、絞り込んだ中から先ほど作成したポリシーをチェックボックスで選択し、「次のステップ 確認」に移行
f:id:FutureStandard:20180820190708p:plain

確認画面に移行して問題ないようでしたらユーザーを作成します。

最後の画面においてアクセスキーとシークレットキーが払い出されるため、こちらの内容を記録します(再度表示することはできません
f:id:FutureStandard:20180820191058p:plain

SCORERにて認証情報を設定

・Scorer Cloudの画面右上のSettingsを選択
f:id:FutureStandard:20180820160403p:plain

・Export Service項目内にバケット名とアクセスキーとシークレットキーを記入しTEST、保存します
f:id:FutureStandard:20180820161021p:plain

確認

何かSCORER Cloudにデータが上がればラズパイやAndroid端末からの全データが作成したS3バケット直下にSourceDataフォルダができてそちらに入ります。
(SCORER Cloud内で解析をした場合はAnalyzed Dataにデータが入ります。)
f:id:FutureStandard:20180820191549p:plain

上級者向けサービスですが、一度設定してしまえば端末が追加されても自動的にエクスポートされていきますので非常に便利ですね。

出力されたデータは原則全データとなるため、SCORER内部で利用されている数多くのデータも混ざって出力されます。
そのためtgzでテキストが圧縮されていたり、目的のデータやファイルを取り出すにはひと手間必要なことがありますが、このあたりはAWS Lambdaなどを駆使してご自身のシステムに組み込んでいただくことを期待しております。
使い方によっては数分おきのスナップショット画像からタイムラプスを作成したりなども可能だったりしますので、このあたりはTipsを今後どんどん提供していこうと思います。

それでは!