読者です 読者をやめる 読者になる 読者になる

多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った

1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか? ログ量が増えてくると1台のNorikraではさばくこと…

「初めてのSpark」「Amazon Web Services パターン別構築・運用ガイド」「学力の経済学」読んだ

初めてのSpark作者: Holden Karau,Andy Konwinski,Patrick Wendell,Matei Zaharia,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2015/08/22メディア: 大型本この商品を含むブログ (3件) を見る 流行りの大規模データ処理ソフトウェア Apa…

『データ解析の実務プロセス入門』を読んだ

データ解析の実務プロセス入門作者: あんちべ出版社/メーカー: 森北出版発売日: 2015/06/20メディア: 単行本(ソフトカバー)この商品を含むブログ (2件) を見る この本は、データ解析のプロジェクトを進める上で必要になるプロセスと、各プロセスで気をつけ…

『データの見えざる手』を読んだ

データの見えざる手 ウエアラブルセンサが明かす人間・組織・社会の法則作者: 矢野和男出版社/メーカー: 草思社発売日: 2014/09/24メディア: Kindle版この商品を含むブログ (6件) を見る ウェアラブルセンサーを使って人間行動をデータに落とし込み、そこか…

「数学の基本ノート [線形代数編]」を一通り解いた

機械学習周りの勉強をするときに、そもそも行列計算のイメージが掴めてなくて、正確に理解できていないと感じていました。 文系出身なので高校では数Cはやっておらず、大学で半年間、線形代数をやったきりだったので、だいぶ勉強不足です。 なので、ここ2ヶ…

MFT2014に出展したmbedを使った蛍光表示管 温湿度気圧計

この記事はmbed Advent Calendar 2014 - Adventarの5日目の記事です。 以前作った蛍光表示管を使った温湿度気圧計にグラフ表示機能を追加してMakerFaireTokyo2014に展示してきました。 全体の構成図はこんな感じです。 グラフ表示の部分については、データの…

ニコニコデータ研究会でLTしてきた「TesselとRaspberryPi(fluentd+focuslight)で温湿度の可視化」

もう2週間ほど前になるのですが、第5回『ニコニコ学会β データ研究会』 | Peatixに行ってLTしてきました。 Tesselからfluent-loggerでデータを送ってRaspberryPi上のfocuslightで可視化するという話です。 Tesselが複数個になっても対応しやすいようにfluent…

Machine Learning Casual Talksに行ってきた

もう1ヶ月くらい経ってしまうのですが、Machine Learning Casual Talksに行ってきました。 内容は機械学習のテストの自動化について。 感想としては、 ランダム性のあるものをテストするとか、テストデータを生成するとか、そのあたりで苦労するのは皆同じな…

RaspberryPiにGrowthForecastをインストールする

やりたいこと mbedで温度を取得して、それをRaspberryPiに送る。 RaspberryPi側ではそのデータを蓄積してグラフ化する。 センサーデータを集めて利用するという、最近流行りのIoT(Internet of Things : モノのインターネット)の基本の一部をやってみる。 今…

GrowthForecastを使ってみる

GrowthForecastがグラフの出力に便利そうだったのでCentOS 6.5上でインストールして実際に動かしてみる。 0. cpan, cpanmのインストール 初期状態ではCentOSには入っていなかったのでyumでインストールする。 sudo yum install perl-CPAN curl -L http://cpa…

Python + PypeRでPythonからRをつかってみる

Pythonは機械学習周りのパッケージは充実している感じがあるのですが、どうにも統計周りのパッケージが不足している感じがあって、PythonからRを叩くパッケージを試してみることにしました。 PythonからRをつかうパッケージとしてはRPy2が有名っぽいですが、…

Pythonとscikit-learnで単回帰分析

前回の記事で整えたPython環境で単回帰分析をしてみます。 単回帰分析というのは単純に言えば各データ(x1, y1)・・・(xn, yn)からy=ax+bという式を推定するということです。 推定したyの値と実際のyの値の差の自乗値を最小とするような直線を引きます。 0. …

ニコニコデータセットで「www」と「GJ」コメント数の散布図を描く

ニコニコデータセットで、少し分析してみました。 今回は「w」と「GJ」に相関関係はあるかなーというもの。 感覚的には、動画中で笑うタイミング、つまり「w」ってコメントするタイミングがある動画ほど、最後に「GJ」ってコメント打つことが多いんじゃな…

Pythonで統計の環境構築から集計とグラフ描画まで

これまでRとかExcelとかで回帰分析やってたけど、Pythonでもできるように環境整えるところから始めます。 メモって置かないと次、構築するときに忘れるのでメモです。 OSはWindows7(64bit)で試しましたが8でも同じはず。 Pythonは2.7.5(32bit)。 0. Pythonの…

ニコニコ学会 ニコニコデータ研究会(7/27)に行ってきた

ドワンゴの新オフィスで7/27に開催されたニコニコ学会のニコニコデータ研究会を見に行ってきました。 記事書くの、だいぶ遅くなってしまってごめんなさい。 データマイニングなどは大学の頃に研究などで携わっていて興味あるので今回の参加です。 ほんとは参…

NT金沢2013 LT枠「ニコ技動画の難易度を推定してみた」

NT金沢2013でLTしてきました。 タイトルは「ニコ技動画の難易度を推定してみた」。 ニコニコデータセットが公開されたのでそのデータを使ってちょっとやってみたって感じです。 やってて途中で思ったのですが、こういう分析ってそもそも指標となる数値がない…

リコメンドコンテストで使ったプログラム

リコメンドコンテスト2009で、データを分析する時に使ったプログラムを置いとく。 特異値分解して、ユーザー行列とワード行列、ユーザーベクトル同士のcosをとったものを出力する。 入力ファイルの形式は横にワード、縦にユーザー、中は検索回数 プログラム…