AWS、クラウド、IaaS
今年ぐっと来た エイプリルフールネタ。本気だと思って深夜に読んでしまいましたw 字が小さいよ！ JIRA のチケットまであるから本気だと思ったわ! 昨日 4/1 エイプリルフールの日に Spark の開発主体である、databrics 社のブログで Apache Spark 2.0 の目指…
こんばんは！ 去る日曜日に行われました、Learning Spark 読書会にてお時間を頂いて LT をさせていただきました。手持ちの小ネタを集めたコネタ集的な LT でしたが、参考になったなどの感想いただき、とても嬉しかったです！また、ネタがまとまったら機会を…
どうも！今年の初エントリーです。今年もよろしくお願い致します。 今回は、Apache Spark 1.2.0 を Amazon EMR で動かしてみることに挑戦しました。Spark ではずっと遊んでいたんですが、MLLib をつかうのが目的だったので開発中はクラスタで動かすひつよう…
これは Elasticsearch Advent Calendar 2014 - Qiita 、８日目の記事です。 Elasticsearch については、このブログや ES Advent Calendar を見ている方には不要かと思います。NewRelic とは、パフォーマンス監視サービスで、ユーザー登録を行い、サーバー上…
どうも！Amazon CloudSearch が値下げされたようなので、内容をまとめてみました。 なお、内容の正誤については一切こちらでは保証しませんので、きちんとご自分でご確認くださいますようお願いします。 http://aws.amazon.com/jp/blogs/aws/cloudsearch-pri…
AWS の Tokyo リージョンに作った仮想マシンとと、GCP こと Google Cloud Platform の Asia リージョンに作った仮想マシンのレイテンシを比較しました。 AWS の Tokyo リージョンは 10ms ほど。さすがは国内DS。 Google も 45ms 程度と思ったほど遅くない。…
今日は、久しぶりにAWSの勉強会に参加してきましたのでいつもどおり勉強メモをお送りします！今回のテーマは AWS の歴史を振り返る、でした。 Jeff & Ken & Hideki による、AWS振り返りスペシャル Jeff Barr さん、玉川さん、小島さん Jeff Barr さんは、チ…
どうも！AWS 認定のソリューションアーキテクト・アソシエイトレベルに合格しました。やったね！*1というわけで、感想を書いておきます。 基本的な対策は様々なブログで書いてあるので、そちらをご参考にしていただければと思います。基本的には、以下のサイ…
Billing DDoS攻撃とは、よしだの造語です。データ転送やリクエスト数に課金されるAWSサービスへ DDoS 攻撃を受けると、サービスはダウンしないかもしれません。でも、インターネットにエンドポイントを持つサービスの多くが、データ転送量やリクエスト数に対…
どうも！だいぶ間が空きました。。 Amazon CloudSearch で色々やっていると、まとめてドキュメントを削除したくなることってありませんか？例えば、ドメインを削除せずに、ドキュメントだけ全て消したい、など。ドメインを作り直すのが確実ではあるのですが…
どうも！JAWS の勉強会に参加してきましたのでメモを公開します。 今回のテーマは「Startup CTO AWS Battle」。これだけの数のスタートアップの話を、５分とはいえ、一度に聞けるのはかなり貴重でした。登壇者のCTOの皆様、ありがとうございました。あと、か…
どうも！去る１５日木曜日に Amazon でしゃべらせていただきました。誘っていただいた、篠原さん、大須賀さん、CloudSearch の開発チームの皆さん、お越しいただいた皆様、とても楽しかったです。 以下、スライドです。 ちょっと足りなかったもの。 グルーピ…
どうも！ 今日は、謝らなければいけません。以前のエントリー Amazon CloudSearch インプレッション - よしだのブログ で、Amazon CloudSearch は数値や日付のレンジでのファセット検索ができない、と記載しましたが間違いであることがわかりました。。 訂正…
追記：5/11 ファセットをレンジで絞り込むことは可能です。確認不足でした。Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です！ - よしだのブログ どうも！ Amazon CloudSearch 関連のエントリを連投しています。これは、調査で作っ…
どうも！ 先日より、Amazon CloudSearch を色々といじっていたら、Amazon で喋らせていただく機会をいただくことが出来ました。時間は２０分と、いわゆる LT になるのですが、デモなども盛り込みたいと思っています。 また、Apache Solr の contributor で、…
どうも！Amazon CloudSearch の日本語の精度はどの程度なのか軽く検証してみました。データはニコニコ大百科です。 追記 4/24：５月１５日に、Amazon CloudSearch ネタでしゃべることになりました！ - よしだのブログ 手順 1.ニコニコ大百科のデータを入手し…
どうも！AWS を使っているのですが、いちいち IP を毎回入力するのも面倒くさかったので、独自ドメインを取ることにしました。そこで、レコードを追加すればブログに独自ドメインを設定できるんじゃね？ということでやってみました。 ちなみにかかった費用と…
どうも！今日は JAWSUG の勉強会に参加しています。というわけで、メモです。アップデートしました。 http://jawsug-tokyo.doorkeeper.jp/events/10139 Update と AWS Summit @SF まとめスライド: Aws update jawstokyo-public R3インスタンス追加。メモリ最…
どうも！ 先日、日本語対応された Amazon CloudSearch ですが、クロールする機能が全くありません。そこで、汎用コネクターフレームワークである ManifoldCF に Amazon CloudSearch 用のコネクターを書いてみました！ そして、人生初のプルリクエスト送信！…
どうも！先日、Amazon から CloudSearch の日本語化対応が発表されました。これは触らなければ！ということで、ざっと触った感じをメモします。今日は、あんまりまとまっていませんが参考になれば。 Amazon Web Services ブログ: 【AWS発表】Amazon CloudSea…
どうも！昨日のユーザーガイドの意訳から、Cloudera Search で可能な検索方式を整理しました。 関連：オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn - よしだのブログ 検索方式３パターン User Guide のイントロダクションを…
15日（土）に Amazon AWS の日本ユーザー会(JAWS)によるフォーラム、JAWS DAYS 2014 に参加してきました。その中でも特に盛り上がっていたトラックの キーワード Immutable Infrastructure について、自分用に簡単にまとめたものを公開します。長文なので、…
JAWS DAYS 2014 JAWS DAYS 2014に来ています。半リアルタイムレポートします。感想や推敲は、また別途行ってエントリーを起こす予定です。 関連エントリ：Immutable Infrastructure とは？ - よしだのブログ What Would OFA do Now? Miles Ward[Amazon Web S…
どうも！今日も、EC2 とイチャイチャしていました。 先日から、EC2 に Cloudera Search をインストールしようとトライしているところです。が、Qiita の記事やマニュアル通りにやると、なぜかインストールウィザードのハートビートを確認するところでエラー…
どうも！ 今日は、EC2 に Cloudera をインストールする作業トライしています。いきなりインストール作業に引っかかってしまったのでメモを残しておきます。先に結論をいうと、t1.microにはインストールできないと思っていたほうがいいようです。 作業メモ cl…
どうも！ 前回の記事では、EC2 でインスタンスを作った時、イントラからそのままではアクセス出来ないことがわかり、対処法の１つを記載しました。それなら、ユーザーデータを使って、自動的にその作業を出来ないかと試してみました。 結論としては、今のと…
どうも！ 今日も技術ネタ＆AWS EC2 入門です。まあ、厳密には EC2 関係ないんですけどね。 追記 このエントリの作業内容を EC2 の User Data という機能を使って、自動で行うことができます。詳しくは以下のエントリから。 【追記あり】(AWS/EC2) UserDataを…
どうも！いつもの、AWS入門シリーズです。 今回は、現在開発中の実プロジェクトでレンタルしているサーバーのレンタル費と、AWS で同様の環境を作った場合の見積もりを比較してみました。一般的にも、実際の本番システムと比べ、開発環境はずいぶんシンプル…
ども。EC2のユーザーガイドを読んでいます。メモの第二弾です。 色々と便利なんだけど、オンプレミスでサーバーを持つ場合と比較して本当に安いのかがよくわからなくなったきました。実際に使ってみるか、もしくは、過去に開発したシステムの事例で持って、…
AWS 上に Solr を構成したいと思い立って、EC2 のユーザーガイドを読みながら触っているところです。以下、ユーザーガイドからのメモ書き。 Amazon EC2 とは - Amazon Elastic Compute Cloud メモ書き EC2の起動からSSHログインが出来る状態まで実際に構築。…
