fluentd

GoogleCloudPub/Subのfluentdプラグイン fluent-plugin-gcloud-pubsub-customを作った

マネージド・メッセージ・キューのGoogle Cloud Pub/Subを利用するためのfluentdのプラグインとしてfluent-plugin-gcloud-pubsub-customを作りました。 リポジトリは以下です。 github.com もともと GitHub - mdoi/fluent-plugin-gcloud-pubsub というプラグ…

fluent-plugin-formatter_pretty_json を作った

github.com fluentdのFormatterプラグインを書きました。 gemは以下で公開しています。 fluent-plugin-formatter_pretty_json | RubyGems.org | your community gem host 概要 out_fileやout_s3のプラグインには出力フォーマットをformatで指定できます。 そ…

Fluentd Meetup 2015 夏 に行ってきた

Fluentd Meetup 2015 夏に行ってきました。 fluentdなどのシールをいただきました。 全体のまとめ fluentd v0.12は単にログを収集するだけでなく、ログを加工する部分についても改良が加えられた。 fluentdはログ収集以外にも、センサーデータを集めたり、本…

おうちハック#2発表会でLTしてきた

2015/02/01におうちハック#2発表会というところでLTしてきました。 内容は、「電気やガスのスイッチを消したことを記録してくれるボットがいれば、心配になって、一度帰ったりしなくて良くなるんじゃないか。」というもの。 それを実現できそうな技術に当て…

データ転送ミドルウェア勉強会に行ってきた

データ転送ミドルウェア勉強会に行ってきたので、個人的に気になった点のまとめです。 『バルクデータロードツール「Embulk」リリース 〜 fluentdの柔軟性と堅牢性をバルクでも』 https://github.com/embulk/embulk バルクデータローダー fluentdはストリー…

MFT2014に出展したmbedを使った蛍光表示管 温湿度気圧計

この記事はmbed Advent Calendar 2014 - Adventarの5日目の記事です。 以前作った蛍光表示管を使った温湿度気圧計にグラフ表示機能を追加してMakerFaireTokyo2014に展示してきました。 全体の構成図はこんな感じです。 グラフ表示の部分については、データの…

ニコニコデータ研究会でLTしてきた「TesselとRaspberryPi(fluentd+focuslight)で温湿度の可視化」

もう2週間ほど前になるのですが、第5回『ニコニコ学会β データ研究会』 | Peatixに行ってLTしてきました。 Tesselからfluent-loggerでデータを送ってRaspberryPi上のfocuslightで可視化するという話です。 Tesselが複数個になっても対応しやすいようにfluent…

RaspberryPiでfluentdを立ち上げる

RaspberryPiにデータ収集して可視化する環境の構築をする。 今回はfluentdのデーモン化まで。 0. 使うもの RaspberryPi OS: RASPBIAN Supervisor 各種アプリケーションのデーモン化のために使う。 Fluentd データ収集アプリケーション。 1. 準備 1.1 Raspber…