Chaos Engineering Runbook

S1. Supabase DB 一時停止 P0 想定

事前準備

• 実施環境: dev または stg。prod では絶対に実施しない。
• on-call (= 全員) に Discord #p2-deploys で 30 分前に告知。
• metric snapshot を取る:
  • Sentry の error rate / p99 を直近 1 時間 screenshot。
  • synthetic-healthcheck の最新成功 run を確認。
  • auto-rollback-dev の最新 burn=healthy を確認。
• scripts/deploy/rollback.sh api dev --dry-run で rollback ターゲットを事前確認。

障害誘発手順

1. Supabase Dashboard → parkydev project → Settings → General → Pause project。
2. 誘発時刻を YYYY-MM-DD HH:MM JST で記録 (秒単位)。
3. 並行して cd parky/api && npx wrangler tail --config wrangler.public.toml --env dev でログ流し見 (4 split worker のうち public がメイン HTTP route 担当)。

期待される挙動

• /healthz/ready が 503 + { ok: false, checks: { db: 'fail' } } を返す。
• synthetic-healthcheck workflow が連続 2 回 fail → Discord #p1-ops に P1 通知。
• Sentry に HyperdriveConnectionError 系 event が発火 (DSN 設定済の場合)。
• auto-rollback-dev が次サイクルで burn=fast を返す可能性あり (synthetic fallback mode)。
  この場合 rollback されるが rollback しても Supabase 自体が止まっているので解消しない。 これが想定通り (= rollback は app バグの是正であり、infra 障害には効かない) の確認。

復旧手順

1. Supabase Dashboard → Resume project。
2. /healthz/ready が 200 OK に戻ることを確認 (5〜10 秒)。
3. synthetic-healthcheck の次 run で recovery 通知が #p1-ops に出るか確認。
4. auto-rollback-dev で誤発火していた場合は scripts/deploy/rollback.sh api dev --version <original> で前進 deploy へ復帰。

S2. Hyperdrive 接続切断 P1 想定

事前準備

• 実施環境: dev。
• 現在の Hyperdrive binding 値を wrangler secret list --env dev で控える (復旧用)。

障害誘発手順

1. echo "postgres://invalid:invalid@127.0.0.1:5432/none" | wrangler secret put HYPERDRIVE_URL --env dev で invalid な接続文字列を投入。
2. または Cloudflare Dashboard → Hyperdrive → 該当 config を 一時 disable。

期待される挙動

• BFF の DB クエリが timeout / connection refused で落ちる。
• postgres.js v3 の自動再接続が走るがリトライ上限で諦める (Sentry に event)。
• /healthz/ready が 503 を返す。

復旧手順

1. 正しい HYPERDRIVE_URL を再投入 (op-cache から取得 → wrangler secret put)。
2. Cloudflare Hyperdrive config を re-enable。
3. 5 分以内に healthz が回復することを確認。

S3. R2 障害 P2 想定

事前準備

• 実施環境: dev。
• web/home / portal で画像が出ているページを 1 つ事前に開いておく (比較用)。

障害誘発手順

1. wrangler.toml の R2 binding を bucket_name = "parky-nonexistent-test" に書き換えて dev へ deploy。
2. または既存 R2 bucket の API token を一時的に revoke。

期待される挙動

• 画像 endpoint が 404 / 502 を返す。
• BFF 本体は動き続ける (DB 系 endpoint は影響なし)。
• Astro home / portal admin の画像が壊れた alt text 表示になる (graceful degrade の検証)。
• Sentry に R2NotFoundError 系 event。/healthz/ready は 200 を返し続けるはず (= R2 は readiness に含めない設計確認)。

復旧手順

1. wrangler.toml を git revert して再 deploy。
2. 画像が再度表示されることを確認。

S4. Cloudflare Workers リージョン障害 受動観測

事前準備

• 誘発不可 (= CF 側でしか起こせない)。
• Cloudflare Status で Tokyo / Asia リージョンに incident が出ているタイミングを観察用に記録しておく。

観測ポイント

• CF Workers は global 自動 failover するので、特定リージョン障害で Parky 利用者には 遅延増加 として現れる (完全 outage にはならない)。
• Sentry で p99 latency が普段の 2 倍以上に振れるか観測。
• SLO burn check (auto-rollback-dev) が latency burn を返すかを確認。 ここで誤発火すると prod 自動 rollback の信頼性に直結するので 本シナリオは特に重要な calibration。

復旧手順

• 受動。CF 側の incident 解消を待つ。Parky 側は何もしない。

S5. 外部 API 障害 (Stripe / Resend / Mapbox) P1 想定

事前準備

• 実施環境: dev + MSW (Mock Service Worker) で fetch を intercept。
• 対象を 1 つに絞る (例: api.stripe.com)。

障害誘発手順

1. BFF の fetch を MSW で https://api.stripe.com/* → 503 / 30s timeout に書き換え。
2. または Cloudflare Worker の routes で該当ホストへの outbound を一時 reject。
3. workflow_dispatch で chaos-fault-inject.yml を起動して Discord に開始通知。

期待される挙動

• 該当 endpoint (/v1/billing/...) が 502 / 504 を返す。
• BFF が circuit breaker / retry-with-backoff をしているか確認 (現状は素通し想定)。
• Sentry に StripeAPIError event が出る。
• SLO burn (error rate × 3) が発火するか観測。

復旧手順

1. MSW handler を解除して fetch を実 API に戻す。
2. chaos-fault-inject.yml の duration 終了通知を待つ。

S6. Supabase Auth 障害 P0 想定

事前準備

• 実施環境: dev。
• 新規 login と既存 session 維持の 2 種を分けて検証する。
• テスト用ブラウザを 2 つ用意 (既存 session / 未 login)。

障害誘発手順

1. Supabase Dashboard → Auth → Policies で一時的に signin endpoint を block (= 大量 error 状態)。
2. または Auth project だけ pause (DB と独立に止められる場合のみ)。

期待される挙動

• 新規 login: 5xx で失敗。
• 既存 session: BFF の session refresh が走るまでは動作。refresh で 5xx → silent logout される。
• Sentry に AuthApiError 多発。

復旧手順

1. Auth policy を revert / Auth resume。
2. 新規 login が回復することを確認。既存 session の自動再認証も観察。