データ解析・可視化

多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った

1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか? ログ量が増えてくると1台のNorikraではさばくこと…

MFT2014に出展したmbedを使った蛍光表示管 温湿度気圧計

この記事はmbed Advent Calendar 2014 - Adventarの5日目の記事です。 以前作った蛍光表示管を使った温湿度気圧計にグラフ表示機能を追加してMakerFaireTokyo2014に展示してきました。 全体の構成図はこんな感じです。 グラフ表示の部分については、データの…

ニコニコデータ研究会でLTしてきた「TesselとRaspberryPi(fluentd+focuslight)で温湿度の可視化」

もう2週間ほど前になるのですが、第5回『ニコニコ学会β データ研究会』 | Peatixに行ってLTしてきました。 Tesselからfluent-loggerでデータを送ってRaspberryPi上のfocuslightで可視化するという話です。 Tesselが複数個になっても対応しやすいようにfluent…

RaspberryPiにGrowthForecastをインストールする

やりたいこと mbedで温度を取得して、それをRaspberryPiに送る。 RaspberryPi側ではそのデータを蓄積してグラフ化する。 センサーデータを集めて利用するという、最近流行りのIoT(Internet of Things : モノのインターネット)の基本の一部をやってみる。 今…

GrowthForecastを使ってみる

GrowthForecastがグラフの出力に便利そうだったのでCentOS 6.5上でインストールして実際に動かしてみる。 0. cpan, cpanmのインストール 初期状態ではCentOSには入っていなかったのでyumでインストールする。 sudo yum install perl-CPAN curl -L http://cpa…

Python + PypeRでPythonからRをつかってみる

Pythonは機械学習周りのパッケージは充実している感じがあるのですが、どうにも統計周りのパッケージが不足している感じがあって、PythonからRを叩くパッケージを試してみることにしました。 PythonからRをつかうパッケージとしてはRPy2が有名っぽいですが、…

Pythonとscikit-learnで単回帰分析

前回の記事で整えたPython環境で単回帰分析をしてみます。 単回帰分析というのは単純に言えば各データ(x1, y1)・・・(xn, yn)からy=ax+bという式を推定するということです。 推定したyの値と実際のyの値の差の自乗値を最小とするような直線を引きます。 0. …

ニコニコデータセットで「www」と「GJ」コメント数の散布図を描く

ニコニコデータセットで、少し分析してみました。 今回は「w」と「GJ」に相関関係はあるかなーというもの。 感覚的には、動画中で笑うタイミング、つまり「w」ってコメントするタイミングがある動画ほど、最後に「GJ」ってコメント打つことが多いんじゃな…

Pythonで統計の環境構築から集計とグラフ描画まで

これまでRとかExcelとかで回帰分析やってたけど、Pythonでもできるように環境整えるところから始めます。 メモって置かないと次、構築するときに忘れるのでメモです。 OSはWindows7(64bit)で試しましたが8でも同じはず。 Pythonは2.7.5(32bit)。 0. Pythonの…

NT金沢2013 LT枠「ニコ技動画の難易度を推定してみた」

NT金沢2013でLTしてきました。 タイトルは「ニコ技動画の難易度を推定してみた」。 ニコニコデータセットが公開されたのでそのデータを使ってちょっとやってみたって感じです。 やってて途中で思ったのですが、こういう分析ってそもそも指標となる数値がない…

リコメンドコンテストで使ったプログラム

リコメンドコンテスト2009で、データを分析する時に使ったプログラムを置いとく。 特異値分解して、ユーザー行列とワード行列、ユーザーベクトル同士のcosをとったものを出力する。 入力ファイルの形式は横にワード、縦にユーザー、中は検索回数 プログラム…

©2023 みや All rights reserved.