このエントリーは、Machine Learning Advent Calendar 2014 - Qiita の15日目の記事です。 まずはじめに、初心者向けの記事です。機械学習に興味があって、とりあえずレコメンドをやってみたいけど、数学とか線形代数とかわからないし、Spark も Hadoop も概…

これは Elasticsearch Advent Calendar 2014 - Qiita 、８日目の記事です。 Elasticsearch については、このブログや ES Advent Calendar を見ている方には不要かと思います。NewRelic とは、パフォーマンス監視サービスで、ユーザー登録を行い、サーバー上…

どうも！久しぶりに書評でも。先日、近所の本屋さんに技術書を買いに行ったら、同じ棚に平積みで置いてあって、安い値段も相まって勢いで買ってしまった本です。なにせ帯にでかでかと「まるで予言の書」ですから・・w インターネット的 (PHP文庫)作者: 糸井…

どうも！ちょっと仕事で Elasticsearch + Kibana (ELK) と Splunk の比較を簡単に調べてみたので公開します。 先にまとめ。 ELK は、OSS で安くクイックスタートできるので、データソースが明確で、ソースに対応しており、導入できる技術者がいる場合におす…

どうも！今日も勉強会に参加していますーので、勉強会メモを公開します。@yamakatu さんがお休みで残念！ 「はじめまして、Spark＆MLlib 」 株式会社 NTT データ 土橋さん hadoop はスループットを重視しているため、レイテンシの低さが求められる処理や、複…

どうも！Amazon CloudSearch が値下げされたようなので、内容をまとめてみました。 なお、内容の正誤については一切こちらでは保証しませんので、きちんとご自分でご確認くださいますようお願いします。 http://aws.amazon.com/jp/blogs/aws/cloudsearch-pri…

どうも！久しぶりのエントリーです。 今日も elasticsearch の勉強会に参加してきましたので、勉強会メモを共有します。イベントの詳細は、こちら↓からどうぞ。 大谷さん、登壇者の皆様、リクルートテクノロジーズ様、いつもありがとうございます！ http://e…

どうも！ かなり出遅れ感ありますが、Amazon CloudSearch のアップデートの確認と、特に目玉機能の日本語用ユーザー辞書を試してみました。ところで、他の CJKV のユーザー辞書に先駆けて日本語で・・というのはちょっと嬉しいですね。 リリースノート Relea…

どうも！ 社内向けのデモのため EC2 上に、elasticsearch を立てていたのですがその際に直面した課題と解決策を紹介したいと思います。 私のいる会社のネットワークは、セキュリティや監査を目的として、HTTP Proxy を経由してインターネットにつながります…

どうも！ Elasticsearch の ZenDiscovery は、同一ネットワーク上の ES を発見し、クラスタに追加することが出来る機能ですが、クラスターに入った後は、シャードの再分配が自動で行われます。これにより、Solr と比べても非常に簡単にノードの追加が可能に…

Kibana 4 Beta1 リリースされましたね！今回の目玉は Aggregation が使えることと、デザインの全面変更でしょうか。個人的には、白バックの画面はスッキリしていて大変好みですが、大幅な変更なので賛否ありそうですね。また、クエリとグラフ作成の画面が分…

AWS の Tokyo リージョンに作った仮想マシンとと、GCP こと Google Cloud Platform の Asia リージョンに作った仮想マシンのレイテンシを比較しました。 AWS の Tokyo リージョンは 10ms ほど。さすがは国内DS。 Google も 45ms 程度と思ったほど遅くない。…

先日、elasticsearch 1.4.0 Beta1 がリリースされましたね。前々回の勉強会で聞いていたとおりで、安定性の向上が中心のエンハンスメントでした。詳細は、johtani さんの記事をどうぞ。 elasticsearch 1.4.0.Beta1のリリース - @johtaniの日記 2nd elasticse…

今日は、久しぶりにAWSの勉強会に参加してきましたのでいつもどおり勉強メモをお送りします！今回のテーマは AWS の歴史を振り返る、でした。 Jeff & Ken & Hideki による、AWS振り返りスペシャル Jeff Barr さん、玉川さん、小島さん Jeff Barr さんは、チ…

4日金曜日から5日にかけて、Jubatus ハッカソンに会社の後輩と２人で参加してきました！ 今回のハッカソンは、初心者向けとあったので Jubatus は未経験でしたが勢いで参加してきました。ハッカソンへの参加はもちろんのこと、Jubatus 自体も初めてでしたが…

かなり遅ればせながらですが、ELK*1を試してみました。 Solr は検索機能としては、十分すぎるほどの機能があるのですが、運用系のUIがプロプライエタリな検索エンジンに比べて弱い部分があります。例えば、クエリログの分析画面がそれだったりしますが、そこ…

リリースから１ヶ月近く立ってしまいましたが、9月3日にSolr 4.10 がリリースされました。というわけで、リリースハイライトを整理してみました。 http://lucene.apache.org/solr/solrnews.html#03-september-2014-apache-solr-4100-available Solr Cell で…

Twitter でこんな投稿をしていたのですが。Elasticsearch のネストの話で、Elasticsearch のドキュメントの定義は、従来の検索エンジンと異なり、ドキュメントやフィールドをネストでき、子ドキュメントだとか子フィールドを持つことができます。 まぢか、す…

どうも！久しぶりの勉強会参加です。 今日も大谷さん、スピーカーの皆様、ならびにリクルートテクノロジーズ様、ありがとうございました！ Aggregationあれこれ Elasticsearch Inc. 大谷さん @johtani 1.0から導入、検索結果に対する集計機能。facet よりも…

前回の記事の続きです。Solrでうまくヒットしない理由を調べていくと、kuromoji の中に入っている mecab-ipadic という辞書に行き着きました。辞書の中に設定されている、単語コストと連結コストの値がうまく設定されていないということが調べたところ分かり…

調査のきっかけは「デジタル一眼レフ」という文字列が含まれているフィールドに「一眼レフ」で検索してもヒットしないという現象です。日本語の形態素解析をつかった検索では結構在りがちで、大体ユーザー辞書に登録すれば良くなるのですが*1、今回は表面的…

Java の API を使って勢いで書いてみたら、結構簡単でした。まあ、基本は JSON にして、PUT するだけですしね。 社内で使っている、クローラのフレームワークに沿って書いたのでそのままでは使えないと思いますが、ちょっと改変すれば行けると思います。 依…

kuromoji が何故か素直に入らなかった。。git clone して git tag して、mvn clean install で、plugin -i -f で OK !— よしだ (@yoshi0309) 2014, 9月 3 先日はお騒がせして申し訳ありませんでした。改めて、確認しました。結果、プロキシの設定がきちんと…

Elasticsearch で、Solr のデフォルトのスキーマに定義されているダイナミックフィールドを再現したかったので mapping ファイルを作ってみました。細かいテストはやっていませんが、多分うまくいくかと。 作った経緯。 Elasticsearch の特長的な機能の一つ…

今回はテクニカルなメモです。 クライアントのIPアドレスで、Solr でアクセス可能かどうかを制限したい要件って結構あると思います。Apache とか Tomcat なら楽勝なのですが、デフォルトの Jetty でやってみると意外とハマったのでメモ。 環境 Apache Solr 4…

どうも！かなり久しぶりです。今日も書評です。 マッチ箱の脳(AI)―使える人工知能のお話作者: 森川幸人出版社/メーカー: 森川幸人発売日: 2014/01/05メディア: Kindle版この商品を含むブログ (7件) を見る この本は、2000年に発売され、Amazon での評価も非…

どうも！昨日は Elasticsearch 勉強会へ参加してきました。 恒例のメモの半リアルタイム更新をしようと思っていたのですが、全編英語のためメモをしている余裕が基本的にありませんでした。理解するのに精一杯で・・、前半についてはある程度取れました。 と…

昨日の今日で Norikra meetup に参加しています！アツい！かなり参考になった＆早速つかってみようと思いました！まずは、ログの集計からかなー。 というわけで、以下メモです。 ストリーム処理とは、およびNorikraの概要と機能 @tagomoris Stream processin…

今日は Hadoop Conference Japan 2014 に参戦しました！おもに、機械学習関連のセッションを中心に参加しましたが、参考になること、勉強になることが盛りだくさんでした。あと、神様にも会えましたよ！ 登壇者の皆様、スポンサーのリクルートテクノロジーズ…

どうも！久しぶりに書評にチャレンジしてみます。今回は e-Book の「実践 機械学習 レコメンデーションにおけるイノベーション」です。フリーで読めます。ダウンロードは以下から。 http://www.hadoop-times.com/technology/pdf-practical-machine-learning.…