データ解析・可視化
1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか? ログ量が増えてくると1台のNorikraではさばくこと…
この記事はmbed Advent Calendar 2014 - Adventarの5日目の記事です。 以前作った蛍光表示管を使った温湿度気圧計にグラフ表示機能を追加してMakerFaireTokyo2014に展示してきました。 全体の構成図はこんな感じです。 グラフ表示の部分については、データの…
もう2週間ほど前になるのですが、第5回『ニコニコ学会β データ研究会』 | Peatixに行ってLTしてきました。 Tesselからfluent-loggerでデータを送ってRaspberryPi上のfocuslightで可視化するという話です。 Tesselが複数個になっても対応しやすいようにfluent…
やりたいこと mbedで温度を取得して、それをRaspberryPiに送る。 RaspberryPi側ではそのデータを蓄積してグラフ化する。 センサーデータを集めて利用するという、最近流行りのIoT(Internet of Things : モノのインターネット)の基本の一部をやってみる。 今…
GrowthForecastがグラフの出力に便利そうだったのでCentOS 6.5上でインストールして実際に動かしてみる。 0. cpan, cpanmのインストール 初期状態ではCentOSには入っていなかったのでyumでインストールする。 sudo yum install perl-CPAN curl -L http://cpa…
Pythonは機械学習周りのパッケージは充実している感じがあるのですが、どうにも統計周りのパッケージが不足している感じがあって、PythonからRを叩くパッケージを試してみることにしました。 PythonからRをつかうパッケージとしてはRPy2が有名っぽいですが、…
前回の記事で整えたPython環境で単回帰分析をしてみます。 単回帰分析というのは単純に言えば各データ(x1, y1)・・・(xn, yn)からy=ax+bという式を推定するということです。 推定したyの値と実際のyの値の差の自乗値を最小とするような直線を引きます。 0. …
ニコニコデータセットで、少し分析してみました。 今回は「w」と「GJ」に相関関係はあるかなーというもの。 感覚的には、動画中で笑うタイミング、つまり「w」ってコメントするタイミングがある動画ほど、最後に「GJ」ってコメント打つことが多いんじゃな…
これまでRとかExcelとかで回帰分析やってたけど、Pythonでもできるように環境整えるところから始めます。 メモって置かないと次、構築するときに忘れるのでメモです。 OSはWindows7(64bit)で試しましたが8でも同じはず。 Pythonは2.7.5(32bit)。 0. Pythonの…
NT金沢2013でLTしてきました。 タイトルは「ニコ技動画の難易度を推定してみた」。 ニコニコデータセットが公開されたのでそのデータを使ってちょっとやってみたって感じです。 やってて途中で思ったのですが、こういう分析ってそもそも指標となる数値がない…
リコメンドコンテスト2009で、データを分析する時に使ったプログラムを置いとく。 特異値分解して、ユーザー行列とワード行列、ユーザーベクトル同士のcosをとったものを出力する。 入力ファイルの形式は横にワード、縦にユーザー、中は検索回数 プログラム…