f:id:yoshi0309:20140315145238p:plain JAWS DAYS 2014

JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。

What Would OFA do Now? Miles Ward[Amazon Web Services]- ほとんどがボランティアで、１２歳の人もいる。

UIがたくさんあるが、機能は少なかった。
今作るなら？ JavaScript SDKを使うことで安く簡単に作れる。
Route53 に自動リダイレクトの機能がついた。www付きの301を返すためだけに使っていた、m2.4xlarge 12台のインスタンスが不要になった。
Redshift の登場
データベースシステムの多くのバラエティ
利用しているデータも利用者も増えているが対応できている、SQS 5million → 8.4million (OFAだけで！)
新しい機能を使うことで、59% のコスト削減ができる。Real Nice !
Redshift を是非使ってみてほしい。Datawarehouse を作るよりも検討してみてほしい。
Data Pipeline / Kinesis
SOA
69% のコストカットには AWS のディスカウントは含まれるか？→含まれない。

AWS クラウド デザインパターン for Enterprise 玉川憲 & 片山暁雄 [アマゾンデータサービスジャパン株式会社]

スライド：AWS Cloud Design Pattern for Enterprise

CDP本設計ガイドのほう、kindle版が出た。
エンタープライズ向けCDP
ハイブリッド環境ネットワーク
- 専用線接続, Direct Connect / Internet VPN / Software VPN / HTTPS の組み合わせ
- Direct Connect 複数の VPC接続を設定できる
- 専用線接続の二重化
- IP-VPN と Direct Connect する / Internet VPN と二重化
ハイパフォーマンスな業務アプリケーション
- SAPの例
- Self Healing パターン、オートスケーリングで最小１最大１と設定する。
- Synchronized Disk パターン、２セット用意しておいてデータをソフトウェアで同期する。
- Ondemenad Diskパターン、高いディスクIOを出す、ストライピング、EBS最適化、Provisioned IOPS
- Hihgh Availability NAT パターン、SPOFとなるNATサーバーの冗長化
- Hight Availabirility Forward Proxy パターン、外部接続用のProxyを冗長化したい
- On-premise Load Balancing パターン、アクセス元のシステムの都合でELBが使えない
- Floating VPN Gateway パターン、VPNの接続口を付け替えることで環境を切り替える。
クレジットカード情報を扱う業務システム
- PCI-DSS
- AWSはサービスプロバイダとして準拠している、準拠しているものとしていないものがある
- コイニー株式会社、Square、Cloudpack
- PCI DSS Cloud Computing Guideline 、AWS PCI Compliance Guideline を参照する
- Chined Defense-in-Depthパターン、レイヤー毎にサブネットを分ける
- ELB End-to-End Encryptionパターン、ELBでSSL terminationさらにBackend-SSLで裏側も暗号化
- Log Aggregationパターン、ログを集約しS3に保存
- OnDemand Bstionパターン、踏み台サーバーを利用してサーバーにアクセスする。必要なときだけ踏み台サーバーを起動する
- High Availability IAMパターン、IAMの設定をAZ毎に分けて管理する。
企業システムのディザスタリカバリ
- 程度がある。程度にあった設計をする
- Hot Standby DC、アプリケーションは、オンプレとAWSにデプロイして切り替えられるようにする、DBの同期は必要。
- Warm Standby DC、クラウド側のアプリは止めておくDBは定期的に同期。ホットより安い
- Cold Standby DC、DBはデータをS3に定期バックアップ/Snapshot、障害発生時はS3からリストア
- Virtual Cloud Storage、オンプレミスに、自動的にクラウドにデータをアップロードするストレージ・アプライアンスを配置、既存バックアップに組み込む、AWS Storage Gateway

Redshift RedShiftベンチマーク〜POSデータはSSDの夢を見るか？〜地主雅信 [株式会社データコム]

POSデータ分析
対象のデータは、レコード数、100億件、年商3600億円規模のデータ
Redshift パフォーマンス比較、小さめのノード１６台、大きめのノード２台の２パターンと、HDD版 dw1、SSD版 dw2 での比較
販売日付をSortKeyに設定、DistKey は Even Distribution ラウンドロビン
クエリ性能、SSDがやはり早いが、クエリの内容によっては、HDD版の大ノードと、SSD版の小ノードのパフォーマンスが拮抗しているケースが有る。
単クエリの比較では、実務に近いパターンは、HDD版は実用に耐えない、SSD版については小ノードのケースでは厳しい
小さいノードが多数の方が、コストパフォーマンスがよい。SSD版はコストパフォーマンスが良い。
SSD版 Redshiftは速い。CPUとストレージのバランスが良い。
少ノード多数か、大ノード少数かは、データとクエリに依存するので検討が必要。

CloudFormation 都元ダイスケ [クラスメソッド株式会社]

スライド：20140315 JAWS DAYS 2014 ACEに聞け！ CloudFormation編

ガチです！
CloudFormationの概要
- SSHしたら負け。SSHレスで構築が済む。
- Templateを記載、構成内容を記述。パラメータを用意して、動的に設定したい項目をあとで引き渡す。→実行すると Stackとしてコンポーネントが展開される。
- Template/Parameter はJSONで記載する。インフラをバージョン管理できる。
- インフラの進化的設計！
CloudFormation の課題
- テスタビリティがあまりない。実際に作ってみるしか無い。
- 一部作成/更新に対応していないサービスが有る
- 自動化コンポーネントや依存コンポーネントを手動で触るとのちの更新に失敗する→FAILEDになる。CloudFormationで作ったものは、CloudFormation で更新する。
CloudFormation Helper
- use data は失敗検知が出来ない、複雑になるとカオス化する、設定の更新（再実行）が出来ない
- 代わりに cfn-init で実現する。
- CF の WaitCondition で失敗検知ができる。cfn シグナルと、wait ハンドル。
- configSets で実行順番を制限できる
- cfn-hup（更新ヘルパー）
Blue-Green Deployment とは
- Blue環境とGreen環境を用意しておく、利用者はBlue側、開発者はGreen側で作業をしている。環境完成後に、BlueからGreenにDNSを切り替えてリリースする。というテンプレートをCloudFormation で書く

AppStream 川路義隆 [有限会社スクラッチソフト]

ゲームアプリの配信インフラ、パブリックベータ
端末側のCPU、ストレージ、グラフィックレンダリング制約からの開放
サーバー側にレンダリング処理を寄せる
事例紹介 CPP、EVE Online インストールデータが巨大で機械損失があり得る
- キャラクター作成画面を AppStream で実行して、裏でダウンロードする。
GeForceの3Dデモ、かなり動きがスムーズ

Kinesis Amazon Kinesisでリアルタイム分析の世界へ金春利幸 [アールスリーインスティテュート]

スライド：JAWSDAYS2014 Amazon Kinesis for Beginner

リアルタイム分析プラットフォーム
適切なサイジングするのが難しい、安全な保管が難しい、分析側のサイジングが難しい、ピークに合わせると高くなる。
Shardに一度保管、その後 Kinesis App で分析して、RDS / Dynamo / Kinesis などに保管、転送
ShardはKVS、パーティションキーは256byte、キーによって送信先となるShardが決まる。write 1MB/sec read 2MB/sec
処理後もデータはしばらく Shard に残る
Kinesis Client Library
- APIを直接使わなくても簡単に使える
- データを処理するWorkerの生成
- 書くShardに対してWorkerがちゃんと付くように制御
- Worker の数の制御、落ちた場合の再処理の制御、AutoScaling時の割り当てを調整
Kinesis Connector Library
- Kinesis Stream から必要なデータを変換して、S3/DynamoDB,Redshiftへデータを格納するライブラリ
- EMR用のConnectorも発表になった
事例
- 全国に設置した大量の機器からのデータを処理 → FTP / DB / Webアプリから、Kinesisへ
- お客さんが増えても自動でスケール可能

公開されているスライド

見つけたものを順次追記します。また、抜けているものを見つけた方がいらっしゃれば、コメントいただけるととても嬉しいです！

よしだのブログ

サブタイトルはありません。

JAWS DAYS 2014 レポート

What Would OFA do Now? Miles Ward[Amazon Web Services]- ほとんどがボランティアで、１２歳の人もいる。

AWS クラウド デザインパターン for Enterprise 玉川憲 & 片山暁雄 [アマゾンデータサービスジャパン株式会社]

Redshift RedShiftベンチマーク〜POSデータはSSDの夢を見るか？〜地主雅信 [株式会社データコム]

CloudFormation 都元ダイスケ [クラスメソッド株式会社]

AppStream 川路義隆 [有限会社スクラッチソフト]

Kinesis Amazon Kinesisでリアルタイム分析の世界へ金春利幸 [アールスリーインスティテュート]

公開されているスライド

ビッグトラック

Immutable Infrastracture

AWS Technical Deep Dive

テクニカルトラック

ACEに聞け！

iJAWS

LT

What Would OFA do Now? Miles Ward[Amazon Web Services]- ほとんどがボランティアで、１２歳の人もいる。

AWSクラウドデザインパターン for Enterprise 玉川 憲 & 片山 暁雄 [アマゾンデータサービスジャパン株式会社]

Redshift RedShiftベンチマーク 〜POSデータはSSDの夢を見るか？〜 地主 雅信 [株式会社データコム]

CloudFormation 都元ダイスケ [クラスメソッド株式会社]

AppStream 川路 義隆 [有限会社スクラッチソフト]

Kinesis Amazon Kinesisでリアルタイム分析の世界へ金春 利幸 [アールスリーインスティテュート]

公開されているスライド

ビッグトラック

Immutable Infrastracture

AWS Technical Deep Dive

テクニカルトラック

ACEに聞け！

iJAWS

LT

AWS クラウドデザインパターン for Enterprise 玉川憲 & 片山暁雄 [アマゾンデータサービスジャパン株式会社]

Redshift RedShiftベンチマーク〜POSデータはSSDの夢を見るか？〜地主雅信 [株式会社データコム]

AppStream 川路義隆 [有限会社スクラッチソフト]

Kinesis Amazon Kinesisでリアルタイム分析の世界へ金春利幸 [アールスリーインスティテュート]