くりにっき

フルスタックキュアエンジニアです

gcp-kmsenvを作った

github.com

モチベーション

condo3app.yaml 内に Cloud KMS で暗号化した秘匿値を埋め込みやすくするために作ったモジュールをライブラリ化しました。

とはいえGoogle App Engine専用というわけではなく、GCP + GoであればCloud Functionsとかでも使えるはずです。

使い方

READMEからかいつまんで説明すると下記

  1. 秘匿値を gcloud kms encrypt で暗号化してBASE64に変換
  2. KMS_ACCESS_TOKEN のように KMS_ を先頭に付けた環境変数として登録
    • KMSで暗号化済なのでこの変数はgitにコミットしても問題ない
  3. GetFromEnvOrKms で呼び出す
    • この時接頭辞の KMS_ は不要

FAQ

Q. Secret Manager使えばいいのでは?

本番環境ではKMSで暗号化された値を使いたいけどローカルでは暗号化していないプレーンな値を環境変数で渡したいことがよくあるので、暗号化していないプレーンな環境変数とKMSで暗号化した環境変数を透過的に扱えるようにしています。( os.Getenv と似たようなインターフェースにしたのも同じ理由)

質問をする技術

以前社内に書いたポエムなんだけど年に1回くらい引用したくなるので公開した

tl;dr;

テンプレ

【質問内容】

【やりたいこと or 今困ってること or 質問の意図】

質問をする時はゴールを提示する【MUST】

  • なにかやりたい
  • けど実現できない、うまくいかない
  • それで質問する

って感じに、質問をする動機としてまず やりたいことありき のはずなので、それを提示すべきです

理由1

質問される側(以下回答者)は質問内容がふわっとしていると色々なケースを想定して回答を組み立てます *1

例「Aの場合は~だけど、Bの場合は~」

こういう場合回答者は質問者のやりたいことを想像しながらいろんな場合分けをする必要があるので、頭を使うので疲れるし、回答を組み立てるのに時間もかかります。

酷い場合だと5つくらい場合分けして回答したことがあります。

こういう時、僕は自分の中で 超能力で回答 という言葉を使ってます。(自分以外で使ってる人は見たことないので同意は得られないことは覚悟してます)

超能力を発揮するのは疲れます。

僕も色々質問を受ける立場ですがゴールが明示されてた方が圧倒的に回答しやすいです。

理由2

初心者によくありがちなのですが、やりたいことに対して質問内容が的外れということが往々にしてあります。

  • 質問者「これってどうやるんですか?」
  • (回答者は頑張って回答を組み立てる)
  • 回答者「こうやるんですよ」
  • 質問者「さっきのだとうまくいきませんでした」

はっきり言ってこういうのは時間の無駄なので先にやりたいことを明示してもらえれば

  • 質問者「こういうことをやりたいんですがここでちょっと詰まってます。これってどうやるんですか?」
  • 回答者「んー。それ、意味ない(質問内容が実現されてもゴールにたどりつけない)っぽいw」

って感じで時間のロスを防げます

コンテキストを詳しく共有する【SHOULD】

*2

質問する側は質問内容に関して長時間思考してるのでコンテキストを理解しています。

しかし回答者はそうとは限らないので可能な限り詳しく書くべきです。

実行したコマンドと実行結果を全て書くくらいが丁度いいと思ってます。

質問内容や人によってはヒアリングしながらコンテキストを少しずつ理解するというのもありそうですが、僕は圧倒的に最初にコンテキストを詳しく書くしそういう風に質問された方が嬉しいです。

チャットとかだと横で見た人が回答しやすいってのもあります。

あと質問内容をまとめる段階で頭の中で問題が整理されるので、質問するために文章を書いてたら答えが分かるという副産物もあります。

期待してた結果(expect)と実際の結果(actual)を書く【IMO】

*3

これはどっかのOSSのissueテンプレートで見たことあるやつ。

質問内容によっては「こういうことをやっててこういう結果になってほしいんだが全然違う結果になるんだが理由がよく分からん」ってことがあると思います。

そういう場合には期待してた結果と実際の結果を書くと質問文も組み立てやすいし、回答者も回答しやすいです

2020/7/22 12:30追記

ブコメレス

id:obatakanae

“こういう場合回答者は質問者のやりたいことを想像しながらいろんな場合分けをする必要がある” それならそこで聞き返せばいいんでないの?そういうことができない状況を想定しているのだろうか?

すぐ後に

質問内容や人によってはヒアリングしながらコンテキストを少しずつ理解するというのもありそうですが、僕は圧倒的に最初にコンテキストを詳しく書くしそういう風に質問された方が嬉しいです。

って書いているように好みの問題だと思います。

チャットだと非同期でのやりとりになってすぐに返信が返ってくる(返せる)とは限らないという理由で、僕は最初にまとまって書かれている方が嬉しいです。

id:jmako

このブログ主は自分視点で考えてるが、相手視点で考えると全く違った発想になる。この本がためになるはず。"「良い質問」をする技術" 是非読んでみて。

Kindle版ポチりました!

2020/7/22 19:00追記

ブコメレス

id:sippo_des

ググれカス、一人で生きていけるようになれ、とか、そんなこと聞くな、とか言われ続けた結果なのかな。 人から与えられた経験とか。交渉とか。

「質問する時はちゃんと準備することでお互いに円滑にコミュニケーションが進むよ」っていうのがこのエントリの主題です。そんなことは一言も言っていないしそんな経験もしたこともないです。

根拠もなく勝手な想像をするのはやめてください。

*1:あくまで自分はこうしています。主語がでかすぎたかもしれないけど前職で聞いたら何人か同じことやってたっぽい

*2:MUST(絶対こうしろ)よりはニュアンス弱めて「なるべくこうすべき」くらいのニュアンス

*3:In My Opinionの略でPullRequestでよく使うスラング。「自分ならこうするけどどうよ?(強制はしない)」くらいのニュアンス

rubocop-itamae v0.1.3とrubocop_auto_corrector v0.4.1をリリースした

rubocop-itamae v0.1.3

https://github.com/sue445/rubocop-itamae/blob/master/CHANGELOG.md#v013

rubocop 0.87.0で v1 Upgrade Notes が出ていたので自分のcopでもv1形式のシンタックスに追従。

rubocopのカスタムcopを作ってる人はv1 Upgrade Notesを読んで対応しといた方がよさそう。

rubocop_auto_corrector v0.4.1

https://github.com/sue445/rubocop_auto_corrector/blob/master/CHANGELOG.md#v041

同じくrubocop 0.87.0関係の対応。

v1 Upgrade Notesだとカスタムcopでautocorrectを実装する時に autocorrect メソッドを実装するのではなく AutoCorrector moduleを extend するようになるのですが *1、そういうcop*2がいる場合にWeekly buildがコケてたので対応。

rubocop_auto_corrector v0.4.0をリリースした

rubocop v0.87.0で --auto-correct の挙動が変わったのと、 --auto-correct-all が追加されたので追従。( rubocop_auto_corrector --all で各cop単位で --auto-correct-all する)

https://github.com/sue445/rubocop_auto_corrector/blob/master/CHANGELOG.md#v040

詳しいこと

koic.hatenablog.com

Railsでdb:migrateの時だけdatabase.ymlを自動で差し替える

前置き

GitLabでPostgreSQLを使う時にPgBouncer経由でDBに接続してる(database.ymlにpgbouncerの接続先を書いている)のですが、 その状態で rake db:migrate すると下記のようなエラーが出ます。

ActiveRecord::ConcurrentMigrationError: 

Failed to release advisory lock


  from active_record/migration.rb:1385:in `with_advisory_lock'
  from active_record/migration.rb:1229:in `migrate'
  from active_record/migration.rb:1061:in `up'
  from active_record/migration.rb:1036:in `migrate'
  from active_record/tasks/database_tasks.rb:238:in `migrate'
  from active_record/railties/databases.rake:86:in `block (3 levels) in <top (required)>'
  from active_record/railties/databases.rake:84:in `each'
  from active_record/railties/databases.rake:84:in `block (2 levels) in <top (required)>'
  from rake/task.rb:273:in `block in execute'
  from rake/task.rb:273:in `each'
  from rake/task.rb:273:in `execute'
  from rake/task.rb:214:in `block in invoke_with_call_chain'
  from monitor.rb:235:in `mon_synchronize'
  from rake/task.rb:194:in `invoke_with_call_chain'
  from rake/task.rb:183:in `invoke'
  from rake/application.rb:160:in `invoke_task'
  from rake/application.rb:116:in `block (2 levels) in top_level'
  from rake/application.rb:116:in `each'
  from rake/application.rb:116:in `block in top_level'
  from rake/application.rb:125:in `run_with_threads'
  from rake/application.rb:110:in `top_level'
  from rake/application.rb:83:in `block in run'
  from rake/application.rb:186:in `standard_exception_handling'
  from rake/application.rb:80:in `run'
  from bundle/ruby/2.6.0/gems/rake-12.3.3/exe/rake:27:in `<top (required)>'
  from bundle/ruby/2.6.0/bin/rake:23:in `load'
  from bundle/ruby/2.6.0/bin/rake:23:in `<main>'

https://docs.gitlab.com/omnibus/update/README.html

If you’re using PgBouncer:

You’ll need to bypass PgBouncer and connect directly to the database master before running migrations.

とあるように db:migrate する時だけPgBouncerを使わず直接PostgreSQLにつなぐのが大正解です。

しかし

  • GitLabのバージョンアップの時だけdatabase.ymlを書き換えるのは面倒
    • 忘れがちなので自動化すべき
    • 運用でカバーするのは時代遅れなので仕組み化すべき
  • いつもCIからのデプロイでGitLabのバージョンアップを行っているのだが、database.ymlの接続先をPostgreSQLにしてデプロイ&自動でdb:migrate(1回目のデプロイ)と接続先をPgBouncerに戻す作業(2回目のデプロイ)で2回デプロイするのが面倒
    • 忘れがちなので(ry
    • 仮に2回デプロイ行うとしても一時的にPostgreSQLのコネクションが少なくなるのでオンラインでバージョンアップを行うとコネクションが足りずにエラーが多発する可能性がある
      • workerの台数によるけど常時100コネクション近く張り付いてる状態なのでメンテいれずにpgbouncer外すのは厳しいと判断
    • SwarmでBlue/GreenデプロイでGitLabをノーメンテでバージョンアップするのに慣れすぎて*1 、バージョンアップ程度でメンテ入れるのが嫌

という理由で、今のデプロイフローをなるべく変えずにどうにかdb:migrateの時だけ自動で接続先を切り替える方法がないか考えました。

モンキーパッチの縛りプレイの内容

モンキーパッチを作るにあたって下記のような縛りプレイの条件がありました

  • RailsやGitLabのバージョンアップでなるべく壊れないようにする
  • Dockerイメージで配布されているGitLabを使っているので *2既存のソースは全て変更不能
    • Dockerイメージの時点でモンキーパッチなんて不可能だと思われがちですが、GitLabのアプリケーション本体はRailsなので config/initializers/lib/tasks にファイルをmountすればRailsが自動で読み込むのでモンキーパッチを適用することができます *3
  • 既存のソースが変更できないのでGitLabに入っていないgemを使うのは難しい
    • bundle installされた状態でDockerイメージとして配布されてるので、そこに新しいgemを追加するのは茨の道
  • 利用しているDockerイメージは https://github.com/sameersbn/docker-gitlab でだが、起動時の処理はDockerイメージ内のスクリプト *4 にあるため、そこに特定の処理を差し込むのはほぼ不可能

モンキーパッチ

このようなモンキーパッチを

version: '3.7'
services:
  gitlab:
    volumes:
      - "./monkey_patch/db_migrate_monkey_patch.rake:/home/git/gitlab/lib/tasks/db_migrate_monkey_patch.rake:ro"

のような感じでDockerコンテナ内にmountして使っています。

注意点

  • かなり黒魔術なので自己責任でお願いします
  • database.ymlの中身は適宜書き換えてください
  • オンラインで実行しても問題ないはずですが、 rake db:migrate 実行中にpumaやunicornをrestartすると意図しない設定が読み込まれるので注意してください

モンキーパッチのポイント

rake taskの実体は Rake::Taskインスタンスで、rake task実行時には Rake::Task#invoke が呼ばれます。

そのため Rake::Task["db:migrate"].invoke という特異メソッドに対してモンキーパッチ用のmoduleを prependすることで rake db:migrate 実行時のみに特定の処理を差し込んでいます。

ボツ案1

Rake::Task["db:migrate"].enhance(["db:migrate:before"]) do
  Rake::Task["db:migrate:after"].invoke
end

みたいな感じで db:migrate:before でdatabase.ymlを書き換えて db:migrate:after で元に戻すという方法もあったのですが、これだと db:migrate でエラーになった時に db:migrate:after が実行されずにdatabase.ymlが元に戻せなくなる不具合があるのでボツになりました。

そのため、上の方で書いているように Rake::Task["db:migrate"].invoke に対してモンキーパッチをあてるしかないと思ってます。

ボツ案2

begin
  Rake::Task["db:migrate"].enhance(["db:migrate:before"])
ensure
  # ロールバック処理
end

これだとrake taskの定義時に ensure が評価されてrake taskの実行時には ensure は評価されないので意図通りに動かないです。

あつ森でDQ3のアリアハン大陸を作った

島の全体図

Before

f:id:sue445:20200527134508p:plain

島改装前のスクショがこれしか残ってなかった。改装直前は建物の他に橋や坂も結構設置してました

After

f:id:sue445:20200526230649j:plain

f:id:sue445:20200527200518j:plain

頑張って作った割には似てないorz

下のスクショはswitch版のDQ3のものです

動かせる建物は全部動かしたので2~3週間くらいかかってます

内部の解説

アリアハンの城下町

街の南西に自宅

f:id:sue445:20200526230726j:plainf:id:sue445:20200527194334j:plain

北西にルイーダの酒場(博物館)

酒場なので仲間が待機してます

f:id:sue445:20200526230843j:plainf:id:sue445:20200527194351j:plain

ちょい東に道具屋(タヌキ商店)

f:id:sue445:20200526231021j:plainf:id:sue445:20200527194405j:plain

写真の左下が宿屋で右下が武具屋(仕立て屋)

f:id:sue445:20200526231054j:plainf:id:sue445:20200527194451j:plain

橋を渡って池の中にあるのがお城(案内所)

どうでもいいですが島の名前がキュアスカーレッ島なので キュアスカーレット の旗です。

f:id:sue445:20200526231130j:plainf:id:sue445:20200527194413j:plain

城下町の南西に井戸

f:id:sue445:20200526231227j:plain

城下町の北東に教会

f:id:sue445:20200526231252j:plainf:id:sue445:20200527194505j:plain

教会なので賛美歌が流れてます

f:id:sue445:20200526231301j:plain

岬の洞窟、ナジミの塔

アリアハンの城下町の西にはみんなおなじみのナジミの塔 *1

f:id:sue445:20200526231357j:plainf:id:sue445:20200527194523j:plain

街を全部配置した時に住民の家が1件だけ余ってしまったので岬の洞窟の位置に置いてます

f:id:sue445:20200526232529j:plain

レーベの村

村の入口。主人公の上にあるのが道具屋

f:id:sue445:20200526231445j:plainf:id:sue445:20200527194614j:plain

道具屋の隣の家と池

f:id:sue445:20200526231504j:plain

北東の家には馬がいます

f:id:sue445:20200526231547j:plainf:id:sue445:20200527194622j:plain

村の南側の宿屋と武具屋

f:id:sue445:20200526231606j:plainf:id:sue445:20200527194629j:plain

南東部の岩

f:id:sue445:20200526231620j:plainf:id:sue445:20200527194637j:plain

いざないの洞窟

いざないの洞窟の南の祠(キャンプサイト

f:id:sue445:20200526231804j:plainf:id:sue445:20200527194817j:plain

いざないの洞窟

f:id:sue445:20200526231824j:plainf:id:sue445:20200527194822j:plain

余談

これは完全に偶然なんですが今日ドラクエ1の誕生日でした。おめでとうございます!

*1:これを言いたかっただけ