AWS Batchの使用感

AWS Batch を試しに使ってみた感想です。 少ないサンプルでの結果なので間違ってる部分はあるかもしれません。あらかじめご了承ください。

良いところ

管理しなければならない部分が減る

オートスケールやインスタンスサイズなどをAWS側でよしなに調整してくれる。

  • ジョブのコンテナ定義のvcpumemoryに合わせてAutoScalingGroupを作ってくれる。
  • インスタンスサイズは optimal が設定できる。 optimalではジョブの条件を満たすインスタンスを自動的に選んでくれる。

試してないがスポットインスタンスの入札も行ってくれるらしい。

使いにくいところ

ジョブをsubmitしてから実行されるまで数分以上待たされることがある

ComputeEnvironment上にインスタンスが起動していない状態だと、結構待たされる。

  • AutoScalingGroupの設定とインスタンス起動が行われるので、そこに時間がかかっていそう。

インスタンスタイプにoptimalを設定した場合の挙動

起動中のインスタンスタイプでは満たせないジョブをsubmitすると実行まで時間がかかる。

public subnetでしか起動しない

private subnetでNAT通るようにした状態でもいつまでもジョブが実行されず。

  • セキュリティグループは設定できるので実害はないかなとは思う。

インスタンスがTerminateされる時間がまちまち

ジョブがなくなってからインスタンスがTerminateされる時間はまちまち。 ジョブがなくなってから5分程度でTerminateされることもあれば1時間程度かかることもある。

ジョブ定義のパラメータはcommand内でしか使えない

ジョブ定義のパラメータcommand にしか使えない。environment にも使えるようになればさらに便利そう。

  • ジョブ定義のパラメータはジョブをsubmitした時点で置換されるので、JobDetailの中では置換された状態で表示される。
    • 確認しやすいが、秘匿情報を渡したい場合には使えない。

まとめ

  • インスタンスが起動した状態であればジョブキューは迅速に消化されるので最低1台は起動しておくのが良いかなと感じた。
  • インスタンスサイズが変わるときの挙動に不安を感じたので、インスタンスサイズは固定したほうが良さそう。

fluent-plugin-pubsub-customの最近のアップデートについて話してきました

RCO社内LT会に誘われたので、fluent-plugin-pubsub-customの最近のアップデートについて話してきました。

大きな変更点としてはfluentd v0.14ネイティブ対応になったことです。 これでfluentd v0.14から使えるようになった機能に対応していけます。

今実装中なのは、Pub/Subの送信先topicの設定に ${tag} のようなプレースホルダーを使えるようにすることです。 fluentd v0.12ではforest pluginを使って同様のこと実現していました。v0.14からfluentd本体に同様の機能が取り込まれていて、それを有効にするためにプラグイン本体のコードを修正中です。

すでにPRは作成しているのでもうちょっと修正すればマージできるはずです。

github.com

ダウンロード数も非常に多くなってきたので、がんばっていきたい次第です。

mbed祭り2017@初夏の京都タワー(の隣の隣)で発表してきました

f:id:mia_0032:20170605222722p:plain

2017/06/03に開催されたmbed祭り 2017@初夏の京都タワー(の隣の隣)で「mbed Advent Calendar」について発表してきました。

内容は3つで構成されていて、mbed Advent Calendarの概要・3年間のまとめ・2017年に向けて参加の案内についてです。 今回はmbedの開発チームの方が来られるとのことだったので、スライドは英語で作成しました(プレゼン自体は日本語で行いましたが)。

スライドは以下です。

mbed Advent Calendarの雰囲気を知ってもらうために、過去に投稿された記事を引用させていただきました。 引用させていただいた方々、ありがとうございました。

過去3年間の記事を見返していると、実に多種多様な記事が投稿されているなと改めて感じました。 今年もまた、たくさんの記事が投稿されるように、自分も何かネタを作っていきたいところです。

お楽しみの抽選会では、ディジタル回路設計とコンピューターアーキテクチャ(ARM版)と話題のハンドスピナーをいただきました。

f:id:mia_0032:20170605223358p:plain

デジタル回路をちゃんと勉強したことは無かったので、これを機に勉強してみようと思います。

毎回、楽しい会をありがとうございます。