よしだのブログ

サブタイトルはありません。

機械学習、ビッグデータ

Apache Spark 2.0 はスマホで動く?!

今年ぐっと来た エイプリルフールネタ。本気だと思って深夜に読んでしまいましたw 字が小さいよ! JIRA のチケットまであるから本気だと思ったわ! 昨日 4/1 エイプリルフールの日に Spark の開発主体である、databrics 社のブログで Apache Spark 2.0 の目指…

詳説 4 Tips of using Apache Spark (LT してきました!@ 第2回 Learning Spark 読書会)

こんばんは! 去る日曜日に行われました、Learning Spark 読書会にてお時間を頂いて LT をさせていただきました。手持ちの小ネタを集めたコネタ集的な LT でしたが、参考になったなどの感想いただき、とても嬉しかったです!また、ネタがまとまったら機会を…

勉強会メモ - Apache Hadoop エコシステムを中心とした分散処理の今と未来

今日は、Hadoop のセミナーを見るために IIJ さんにお邪魔してきました。 内容としては、Hadoop の歴史と現状の流れを技術的な面から紐解いた第一部と、Hadoop コミュニティやオープンソースコミュニティを解説した二部という構成でした。技術的な面では、何…

勉強会メモ - 第1回“Learning Spark”読書会

どうも!最近、いじり倒している Spark の読書会があるとことで、参加してきましたので、メモを公開! http://readlearningspark.connpass.com/event/11846/ 本はこちら!英語版のみですが、Spark の実質初の実践的な解説書です。 Learning Spark: Lightning…

Spark / RDD のネストできない!

どうも!最近 Spark を触りたおしているよしだです。 先日、いつものように改修をしていたら、例外がでるようになってしまい、1日つぶしてしまったので皆様が同じ轍を踏むように、共有しようと思います(笑) 結論から言えば、Spark において、 RDD のネス…

Spark 1.2.0 を Amazon EMRで動かす。

どうも!今年の初エントリーです。今年もよろしくお願い致します。 今回は、Apache Spark 1.2.0 を Amazon EMR で動かしてみることに挑戦しました。Spark ではずっと遊んでいたんですが、MLLib をつかうのが目的だったので開発中はクラスタで動かすひつよう…

Spark MLLib への最速の入り口! (と、インプレとJubatusとの比較)

このエントリーは、Machine Learning Advent Calendar 2014 - Qiita の15日目の記事です。 まずはじめに、初心者向けの記事です。機械学習に興味があって、とりあえずレコメンドをやってみたいけど、数学とか線形代数とかわからないし、Spark も Hadoop も概…

勉強会メモ - Machine Learning with Apache Spark

どうも!今日も勉強会に参加していますーので、勉強会メモを公開します。@yamakatu さんがお休みで残念! 「はじめまして、Spark&MLlib 」 株式会社 NTT データ 土橋さん hadoop はスループットを重視しているため、レイテンシの低さが求められる処理や、複…

Jubatusハッカソンに参加して、イベントのレコメンデーションを作ってみた。

4日金曜日から5日にかけて、Jubatus ハッカソンに会社の後輩と2人で参加してきました! 今回のハッカソンは、初心者向けとあったので Jubatus は未経験でしたが勢いで参加してきました。ハッカソンへの参加はもちろんのこと、Jubatus 自体も初めてでしたが…

書評 - マッチ箱の脳(AI)-使える人工知能のお話

どうも!かなり久しぶりです。今日も書評です。 マッチ箱の脳(AI)―使える人工知能のお話作者: 森川幸人出版社/メーカー: 森川幸人発売日: 2014/01/05メディア: Kindle版この商品を含むブログ (7件) を見る この本は、2000年に発売され、Amazon での評価も非…

勉強会メモ - Hadoop Conference Japan 2014

今日は Hadoop Conference Japan 2014 に参戦しました!おもに、機械学習関連のセッションを中心に参加しましたが、参考になること、勉強になることが盛りだくさんでした。あと、神様にも会えましたよ! 登壇者の皆様、スポンサーのリクルートテクノロジーズ…

書評 - 実践 機械学習 レコメンデーションにおけるイノベーション

どうも!久しぶりに書評にチャレンジしてみます。今回は e-Book の「実践 機械学習 レコメンデーションにおけるイノベーション」です。フリーで読めます。ダウンロードは以下から。 http://www.hadoop-times.com/technology/pdf-practical-machine-learning.…

機械学習ライブラリのアルゴリズム一覧 - 勉強メモ - 機械学習

Apache Mahout https://mahout.apache.org/ - Hadoop MapReduce で稼働するライブラリ - 次バージョンからは Spark で、とのこと。 - バージョンは 0.9 アルゴリズム https://mahout.apache.org/users/basics/algorithms.html レコメンデーション 協調フィル…

勉強メモ - パターン認識 - その1

ども!ご無沙汰しております。最近、機械学習の勉強をはじめました。その最初の入口として、パターン認識を勉強しています。今回は勉強メモを公開しようと思います。なお、裏テーマは数学の分からないエンジニアでもわかる機械学習です。 勉強中なので、間違…