2014 AWS Cloud Storage DB Days

  • 投稿者:
  • 投稿カテゴリー:aws / event

AWSにおけるデータベースサービスの活用 -八木橋徹平さん-

データベースサービス選定時の指標として
データ量・秒間トランザクション・レイテンシ・揮発性・ACID or BASE・コスト・社内標準か、などありますが
最適なデータベースを利用していますか?

NoSQL

ElastiCache

端的にいうと、メモリキャッシュ
・2種のエンジン(memcached・redis)を利用
・可用性を向上させる
・イベント通知(問題発生時に管理者に連絡する)あり
・キャッシュヒット率が高いときに利用するべし
・RDSで永続化されていることを前提にしている

DynamoDB

・Amazon独自機能
・3拠点レプリケーション
・SSDに永続化
・SPOFの存在しない構成
・3箇所のAZに保存されるため信頼性が高い
・ReadとWriteのスループットキャパシティをプロビションできる
・スループットキャパシティは運用中にオンラインで変更可能(スケールダウンは日に4回まで)
・事前準備は、テーブルのkeyとindexを決める、Read/Writeのスループットキャパシティを決める
・予測できないトラフィックに有効

RDBMS

RDS

・初期費用無し、時間単位の従量課金
・4種類(MySQL、Oracle、Microsoft SQL Server、あるいは PostgreSQL)のエンジンをサポートするため、既存資産の活用が容易
・監視機能、障害検出、パッチ、スケーリングが容易
・DB on EC2 の選択肢と比較すると作業がほとんどない(OS patch や DB patch などなど)
・プロビションドIOPS
・S3にスナップショットとトランザクションログを保存できる
・フェールオーバー時にDNSが対応するため、何もする必要はない
・RDSについて、世界的に見ても日本の使用事例は多い
・容易なスケールアップ
・運用管理コストの低減
・DataCenterをまたいだ冗長性

Redshift

・集計・分析処理用
・160G-1.6PBまで拡張可能
・カラムナ型(列指向型)データベース
→集計の際に余計な行を読まなくて済むため高速化される
・2ヶ月間は無料で利用可能
・S3に保存したものを、Redshiftに入れて解析することが通常の利用の仕方
・データ容量が数百GBを超える場合により有効
・BIツールからの分析
・ROIが不透明な中で、大規模な投資リスクを避ける

DBonEC2

・ストアドプロシジャを利用したい
・AWSにないNoSQLを利用したい
・DBにローカルアクセスでバッチ処理を実行したいなど
 利用例:Magazine Luiza

AWSストレージ関連サービスの正しい理解と使い方講座-小林正人さん-

なぜクラウドサービス?

・ハード管理について、3-5年サイクルで曖昧な情報を元にサイジングするため失敗しやすい、また24時間365日故障への対応の必要がある
・企業には複数のストレージがあり、さらに話を複雑にしている。。
【コンピュータ技術の成長法則】
Compute:18ヶ月で2倍に(ムーアの法則)
Storage:CPUよりも早く集積密度が成長(グライダーの法則)
Network:接続速度は21ヶ月ごとに2倍に成長
データは増加していくが、移動させることがネックになってくる

ストレージサービス紹介

基本的な特徴
・耐久性
・柔軟性
・セキュア
・低コスト
・シンプル

S3

・容量無制限(1ファイル5Tまで)
・1GB/3.3-円
・性能(110万アクセス/秒)

Glacier

・フランス語で「氷河」
・低頻度アクセスを想定した超安価かつ耐久性の高いコールドストレージサービス
・長期間専用ストレージ
データの取り出しに3.5-4.5時間
・1GB/1円-
・WEBコンソールがない

Storage Gateway

・オンプレミス環境と連携したバックアップ&クラウドストレージサービスのためのゲートウェイサービス
・オンプレVMやHyper-Vでも動作
・リストアが容易

EBS

・仮想サーバに接続できる仮想ディスクボリュームサービス
・1ボリューム1TBまで
・スナップショットをS3に保存可能
・SSDも選択できる
・暗号化をサポートする

Zocalo(ゾカロ)

・クラウドストレージを基盤としたフルマネージド型の企業向け文書保管、共有サービス
・コラボレーション機能
・AD連携可能

活用アーキテクチャ

ファイルサーバストレージ-中小

EC2にEBS(SSDを利用すれば高速)を載せて、共有する
バックアップはスナップショットで十分可能
社内から接続するときはDirectConnect or InternetVPNを利用する

ファイルサーバストレージ-大

StorageGW on EC2を利用する→オンプレミス環境からiSCSIストレージとして利用できる
最大150T利用可能

※オンプレミスをベースにする場合
オンプレミスにファイルサーバとStorageGW(CacheVolume)をおき、書き込まれたデータをAmazonS3にバックアップすることが可能

バックアップ

Storage GWをいれると、自動的にS3に保存される
S3側でスナップショットをとることで、3日前のデータを保持するといったことも可能
リストアはEC2で動作させることも可能
ARCServeなどsymantecなどはS3対応しているものもある

オススメ利用方法は、S3に入れたあとにGlacierを利用
(Lyfe Cycle Policy という自動アーカイブ機能を利用)
S3の柔軟性を活かした構成となっている

アーカイブストレージ

大容量データをS3にあげたい場合、asperaのような高速に転送する製品を利用するべし
標準機能でMultipartUpload(並列にアップロード可能)があるがアプリケーション側でデータを分割するように対応する必要がある
東京リージョンでは対応していないが、パートナーのサービスでディスクを送れば対応してもらえるものもある

コンテンツ配信ストレージ

静的なwebページを配信することが可能であるため、webサーバを構築する必要がない
動的な処理はEC2でコンテンツはS3がオススメ