boscoworks.log

boscoworksのブログ的な

hadoop

IPアドレスと位置情報をマッピングするテーブルをHadoopを使った解析基盤に作ってみた

概要 データ解析をやっていると、「いつ・誰が・何をした」っていう調査は比較的容易に実現できるものだと実感していますが、「どこで」というキーワードを使った解析は意外に難しい気がしています。 スマートフォンからはGPSを使えばそれなりに取れます(や…

Cloudera World Tokyo 2013 に参加してきました

気が付けばHadoopを使ったログ解析基盤システムのエンジニアになって1年。ようやく少しは話についていけるようになりました。 Hadoopのバージョンアップなんかも視野に入れたりしてて、より一層知識欲しいところだし、ということで Cloudera World Tokyo 201…

Hadoop徹底入門を読んだ

初心者なんで、とりあえずパフォーマンスチューニングとかはなしで、概論的なとこだけ。 入門書としてはこれが一番と勧められたので読んだのだけど、とっかかりとしてはなかなか分かりやすかったと思う。 まぁ実際に手を動かさないと何とも分かんないところ…

Hadoop Conference Japan 2013 Winter に参加してきました

昨年末にチーム間の異動がありまして、Hadoopを使ったデータマイニングが主業務になりました。 それまで(一応)Webアプリケーションエンジニアだったのですが、今は見習いデータマイニングエンジニア。 上司の方には「今までのノウハウをこれからに活かして…