どうも！最近プロジェクトが始まって忙しく過ごしています。そのプロジェクトで使用する予定の OS が Windows なのですが、その関連で Solr と Zookeeper をサービス化する方法を調べました。*1 結論としては、nssm というツールで、かなり簡単に実現するこ…

Apache Mahout https://mahout.apache.org/ - Hadoop MapReduce で稼働するライブラリ - 次バージョンからは Spark で、とのこと。 - バージョンは 0.9 アルゴリズム https://mahout.apache.org/users/basics/algorithms.html レコメンデーション 協調フィル…

ども！ご無沙汰しております。最近、機械学習の勉強をはじめました。その最初の入口として、パターン認識を勉強しています。今回は勉強メモを公開しようと思います。なお、裏テーマは数学の分からないエンジニアでもわかる機械学習です。 勉強中なので、間違…

どうも！今日も勉強会に来ています。初めての JJUG ですが、かなり面白いです。 DDD本、読まなきゃーー。。。 感想 実際に使うにあたって、何が重要か？何に気を付けなければいけないか？をたくさん聞くことができてかなり有用性の高い公演だったと思います…

どうも！AWS 認定のソリューションアーキテクト・アソシエイトレベルに合格しました。やったね！*1というわけで、感想を書いておきます。 基本的な対策は様々なブログで書いてあるので、そちらをご参考にしていただければと思います。基本的には、以下のサイ…

Billing DDoS攻撃とは、よしだの造語です。データ転送やリクエスト数に課金されるAWSサービスへ DDoS 攻撃を受けると、サービスはダウンしないかもしれません。でも、インターネットにエンドポイントを持つサービスの多くが、データ転送量やリクエスト数に対…

どうも！だいぶ間が空きました。。 Amazon CloudSearch で色々やっていると、まとめてドキュメントを削除したくなることってありませんか？例えば、ドメインを削除せずに、ドキュメントだけ全て消したい、など。ドメインを作り直すのが確実ではあるのですが…

どうも！Apache ManifoldCF で Amazon CloudSearch のコネクターを作っているのですが、先日記事にしたテキスト展開ライブラリの Apache Tika を組み込むにあたって、依存する jar ファイルの一覧を作る必要がでてきました。というわけで、今日は Maven から…

どうも！JAWS の勉強会に参加してきましたのでメモを公開します。 今回のテーマは「Startup CTO AWS Battle」。これだけの数のスタートアップの話を、５分とはいえ、一度に聞けるのはかなり貴重でした。登壇者のCTOの皆様、ありがとうございました。あと、か…

どうも！最近、色々といじっている Apache ManifoldCF ですが、その中で Apache Tika を使用しています。Apache Tika とは、word や excel などのバイナリーファイルから、メタデータや本文を抽出することができる便利ライブラリです。一般に検索エンジンが…

どうも！去る１５日木曜日に Amazon でしゃべらせていただきました。誘っていただいた、篠原さん、大須賀さん、CloudSearch の開発チームの皆さん、お越しいただいた皆様、とても楽しかったです。 以下、スライドです。 ちょっと足りなかったもの。 グルーピ…

どうも！ 今日は、謝らなければいけません。以前のエントリー Amazon CloudSearch インプレッション - よしだのブログ で、Amazon CloudSearch は数値や日付のレンジでのファセット検索ができない、と記載しましたが間違いであることがわかりました。。 訂正…

追記：5/11 ファセットをレンジで絞り込むことは可能です。確認不足でした。Amazon CloudSearch どうもすいませんでした。レンジファセットは可能です！ - よしだのブログ どうも！ Amazon CloudSearch 関連のエントリを連投しています。これは、調査で作っ…

どうも！Amazon のセミナーで個人的に発表させていただくこととなったので、名刺をかの有名な前川企画印刷にお願いして、作成しました。モザイクがかかっているところは、本名とメールアドレスです。知りたい方がいらっしゃれば、是非セミナーにお越しくださ…

どうも！データを収集して、Solrなど検索エンジンに送信するコネクター、もしくはスパイダーのオープンソース、Apache ManifoldCF の本、「ManifoldCF in Action」がオンラインで公開されました。フリーです！英語ですが。 https://manifoldcfinaction.googl…

どうも！実家に帰っていたので、久しぶりの投稿です。 先ほど実家から自宅に帰ってきました。今回は、子供を二人連れての初めての帰省でした。２歳のイヤイヤ期真っ最中の子供を連れて、飛行機に乗るのはなかなかしんどかった〜。。。自宅から羽田までの移動…

どうも！ 先日より、Amazon CloudSearch を色々といじっていたら、Amazon で喋らせていただく機会をいただくことが出来ました。時間は２０分と、いわゆる LT になるのですが、デモなども盛り込みたいと思っています。 また、Apache Solr の contributor で、…

どうも！昨日に引き続き Elasticsearch の入門ネタです。 以前の記事で書きましたが、検索エンジンである Apache Solr では日付の扱いが上手く行かず、実プロジェクトで痛い目にあったことがありました。Solr の場合、日付は UTC でしか扱うことができない、…

どうも！昨日、Elasticsearch*1の勉強会に行ったし、いい加減やり始めました。日本語破綻（笑）。 参考：勉強会メモ - 第4回elasticsearch勉強会 2014/04/21 - よしだのブログ 早速の感想から。Elasticsearch は全てのインターフェースをRESTで固めています…

どうも！Elasticsearch の勉強会に参加しました。勉強会メモです。上の写真は勉強会でのいただきものです。ステッカーげっと（笑）。その場で、MacBook Air に貼りました（笑）。 追記：早速 ES にトライしました。こちらもどうぞ！ Elasticsearch キックス…

どうも！Amazon CloudSearch の日本語の精度はどの程度なのか軽く検証してみました。データはニコニコ大百科です。 追記 4/24：５月１５日に、Amazon CloudSearch ネタでしゃべることになりました！ - よしだのブログ 手順 1.ニコニコ大百科のデータを入手し…

どうも！AWS を使っているのですが、いちいち IP を毎回入力するのも面倒くさかったので、独自ドメインを取ることにしました。そこで、レコードを追加すればブログに独自ドメインを設定できるんじゃね？ということでやってみました。 ちなみにかかった費用と…

どうも！今日は JAWSUG の勉強会に参加しています。というわけで、メモです。アップデートしました。 http://jawsug-tokyo.doorkeeper.jp/events/10139 Update と AWS Summit @SF まとめスライド: Aws update jawstokyo-public R3インスタンス追加。メモリ最…

どうも！間が開いてしまいました。 前回の記事、Apache ManifoldCF の Amazon CloudSearch 用コネクター書いた！ - よしだのブログ で、人生初のプルリクを投げましたが、その後の続きを書いてみようと思います。今後、Apache 系の OSS に参加、コントリビュ…

どうも！ 先日、日本語対応された Amazon CloudSearch ですが、クロールする機能が全くありません。そこで、汎用コネクターフレームワークである ManifoldCF に Amazon CloudSearch 用のコネクターを書いてみました！ そして、人生初のプルリクエスト送信！…

eclipse のバージョンは Kepler を前提とします。 追記 4/9: プロジェクトのインポートとビルドの順番を逆にして、ビルドを先にやるように修正しました。ビルドを先にやると jar へのクラスパスまで自動で通ります。 forkする GitHub上で fork します。 git …

どうも！ 前回書いた、CloudSearch を触ったついでに Apache ManifoldCF に CloudSearch 用のモジュールを思い立って追加してみようと思って四苦八苦しています。*1 関連：祝！日本語対応 Amazon CloudSearch をさわってみた。 - よしだのブログ せっかくな…

どうも！先日、Amazon から CloudSearch の日本語化対応が発表されました。これは触らなければ！ということで、ざっと触った感じをメモします。今日は、あんまりまとまっていませんが参考になれば。 Amazon Web Services ブログ: 【AWS発表】Amazon CloudSea…

どうも！昨日のユーザーガイドの意訳から、Cloudera Search で可能な検索方式を整理しました。 関連：オレオレ意訳。Cloudera Search ユーザーガイド / Introducing Cloudera Searcn - よしだのブログ 検索方式３パターン User Guide のイントロダクションを…

どうも！Cloudera Search を調べてますが、その続きです。 関連：(Hadoop/Cloudera) Cloudera Search のセットアップ - よしだのブログ 今日のお題は User Guide のイントロを意訳すること。 前回は Cloudera Search のインストール〜セットアップまでやりま…