工作とかオーディオとか

作った物について書きます

OSS

Athenaをbqコマンドライクに操作できるgem aqを作った

この記事はAmazon Web Services Advent Calendar 2017の16日目の記事です。 AWS AthenaをBigQueryのbqコマンドライクに使えるaq というコマンドラインツールを作りました。 github.com AthenaをCLIで操作しようとすると踏まないといけない手順*1が多かったの…

Digdag pluginのローカルでの動作確認方法

digdag-slack pluginにPullRequestを送ったときに、ローカルで動作確認する方法が最初わからなかったのでメモしておきます。 1. ビルドする $ ./gradlew publish 2. digファイルのプラグインの読み込み設定を書き換える _export: plugin: repositories: - fi…

多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った

1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか? ログ量が増えてくると1台のNorikraではさばくこと…

Norikra meetup #2 に行ってきた

Norikra meetup #2に行ってきたので、そのまとめです。 全体のまとめ Norikraを使うと、開発者が手軽に欲しいデータをまとめることができる。 Norikraをつかったシステムでログが増えてきた時の構成 メモリを大量に積んだマシンを用意するパターン パーセン…

データ転送ミドルウェア勉強会に行ってきた

データ転送ミドルウェア勉強会に行ってきたので、個人的に気になった点のまとめです。 『バルクデータロードツール「Embulk」リリース 〜 fluentdの柔軟性と堅牢性をバルクでも』 https://github.com/embulk/embulk バルクデータローダー fluentdはストリー…

ログのURLをパースして指定した要素を抜き出すNorikraUDFを作った

URLをパースして指定した要素を抜き出してくれるUDF(splituri)と、GETパラメータを同じようにパースして指定したキーの値を抜き出してくれるUDF(splitquery)を作りました。 norikra-udf-uri_parser | RubyGems.org | your community gem host github.com な…

Amazon.co.jpアソシエイト

©2021 みや All rights reserved.