docs(audit): twenty-seventh batch — alert module live drill (real build failure -> pending -> firing), cleanup, #44 reachability
This commit is contained in:
1 file changed
+18
-4
+18
-4
@@ -45,7 +45,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f
|
||||
| 14 | controller-runtime 日志噪音 | ✅ 修复：SetLogger 接 slog（`a415246`） |
|
||||
| 15 | reaper 启用未演练 | ✅ 已演练（见"第二日"节；CronJob 仍 `suspend=true` 防误删） |
|
||||
|
||||
## 可达性分级（#1–#43）——这些缺陷真实使用中到底谁能踩到
|
||||
## 可达性分级（#1–#44）——这些缺陷真实使用中到底谁能踩到
|
||||
|
||||
回应质疑"是不是全在测边界条件 / 只有内部 hook 才能触发"：
|
||||
|
||||
@@ -97,8 +97,9 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f
|
||||
| 41 | 断玻璃 Sync 选系统服 → 裸内部错误 | ② |
|
||||
| 42 | 对无世界盘服备份/恢复 → 202 后静默卡 30 分钟 | ② |
|
||||
| 43 | #42 配套：409 一刀切文案 | ②（轻） |
|
||||
| 44 | 重跑 `felis setup` 完成 s/c reconfigure → 状态框退回“Setup complete”（信息一致性） | ①（轻） |
|
||||
|
||||
统计：① 17 ｜ ② 16 ｜ ③ 3＋#23(a) ｜ ④ 4 ｜ 决策 3 ＝ 43。第三批构建链另有 3 处未编号修复（Job requests 超小节点上限 → 永远 Pending、Kaniko chown、Trivy DB egress 被锁）——均属 ①/②。
|
||||
统计：① 18 ｜ ② 16 ｜ ③ 3＋#23(a) ｜ ④ 4 ｜ 决策 3 ＝ 44。第三批构建链另有 3 处未编号修复（Job requests 超小节点上限 → 永远 Pending、Kaniko chown、Trivy DB egress 被锁）——均属 ①/②。
|
||||
|
||||
## 已验证事实（正向清单）
|
||||
|
||||
@@ -334,6 +335,19 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f
|
||||
- **文档修正（`ae6e925`）**：§8e 原「编辑 felis.toml 后重启 felis-api」不完整（API 挂的是 Secret）→ 改为「写进 /etc 两文件 → 重渲染 Secret → roll」，并写明三种无效/易损做法（只 restart / 只改 host 文件 / 只热补 live Secret——后者会在下次 reconfigure 被冲掉）。
|
||||
- 收尾：api 1/1、panel 200、tmux 全清。
|
||||
|
||||
### 本轮新增真机证据（第二十七批：告警模块落地 —— 内部面 /metrics + 规则集 + 真实构建失败实弹演练）
|
||||
|
||||
- **范围**：把"指标 → 规则 → 告警"链路从零补到可交付：API 内部面 `/metrics`（`94f71ee`）、`deploy/alerts/` 规则与 promtool 单测（`43df08b`）、真机实弹演练（本批）。
|
||||
- **/metrics（`94f71ee`）**：`felis_image_build_failures_total` 此前只在进程内存里、无任何 scrape 出口。修复：internal face（8081）新增 `GET /metrics`（服务面 Public 路由，语义同 /healthz）；单测断言外部面 404。真机：port-forward `svc/felis-api-internal 18081:8081` → 200 且含 `felis_image_build_failures_total`；operator `:8080` 提供 `felis_servers_total` / `felis_start_duration_seconds_*`。
|
||||
- **规则集（`43df08b`）**：`deploy/alerts/felis-alerts.yaml`（plain Prometheus）5 条——构建失败 increase>0 / 起服 p90>300s / 磁盘可用<15% / DiskPressure / 内存可用<10%；`felis-prometheusrule.yaml` 为 prometheus-operator twin（脚本比对两文件 groups 一致）；`felis-alerts_test.yml` 为 promtool 单测。VM 上 promtool 3.14.0 实跑：`check rules` + `test rules` 双 SUCCESS。
|
||||
- **实弹演练（真实构建失败 → pending → firing）**：
|
||||
1. 打包含 `COPY does-not-exist` 的 Dockerfile 上传到 uploads PVC `sub-alertdrill` → `POST /images/build`（`e2e/alert-drill2:latest`）；
|
||||
2. Kaniko `failed to get fileinfo for /context/does-not-exist` → Job Failed、build 行 `failed`；
|
||||
3. 真实 Prometheus（宿主 `:19090`）scrape `127.0.0.1:18081`(api) 与 `:18080`(operator) 双 target up；`felis_image_build_failures_total{job="felis-api"}=1`；
|
||||
4. `FelisImageBuildFailures` pending（activeAt 08:28:14Z）→ **08:33:14Z 准时 firing**（`for: 5m` 精确到期），labels/annotations 完整。
|
||||
- **清尾（残留全清）**：whitelist `e2e/alert-drill` 摘除（204）；`sub-alertdrill` 目录、`/tmp/drillctx`、两个演练 Job、tmux `prom`/`fwd`/`alertpoll`、`/root/prom-drill`（promtool+prometheus 二进制）全删；DB `%alert-drill%` 行删除（whitelist/build 复核 count=0）；宿主无残留监听/进程。演练期间 live api 进程内计数器=1（重启归零，属演练事实）。
|
||||
- **可达性追加**：#44 定级 ①（轻）——已装机环境重跑 `felis setup` 完成 storage/connect reconfigure 即触发。
|
||||
|
||||
## 结论：离"生产可用"还差什么（按优先级）
|
||||
|
||||
1. ~~构建链路的上下文通道~~ ✅ **已修**（`f79e5eb`/`02fd2de`，真机全链路含拉回校验；Trivy DB 需按 §8e 镜像一次）。
|
||||
@@ -341,7 +355,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f
|
||||
3. ~~PG 级契约测试~~ ✅ **已落地**（`2a55a0d`）：`internal/pgint`（`-tags pgint`，需 `FELIS_TEST_PG_URL` 指向名字含 `pgint` 的库，harness 会 drop schema + 重放真实迁移）已覆盖会话/OTP/op-login/绑定码/submission/build/owner 角色；**首跑即抓到 #20**（索引与 ErrEmailTaken 从未存在）。运行方式见 CONTRIBUTING.md。
|
||||
4. ~~面板把 /jobs 显示出来~~ ✅ **已完成**（`97a64c8`，备份页「最近操作」卡，正是它把 #35 暴露出来的）。
|
||||
5. ~~多节点回收~~ ✅ **已修**（`daf7602`：`--reaper-node` → CronJob pod `kubernetes.io/hostname` nodeSelector，真机 render/dry-run/收敛 diff 三连；单节点部署不传即维持原状）。附带核销缺陷 #38（渲染提示里过期的 uid-1000/setfacl 指导）。
|
||||
6. **告警**：felis_* 指标已全有生产者，但无非告警；磁盘/内存阈值告警建议随部署一并给出。
|
||||
6. ~~告警~~ ✅ **已完成**（`94f71ee` + `43df08b` + 第二十七批实弹演练：真实构建失败 → pending → 08:33:14Z firing；规则随 `deploy/alerts/` 交付）。
|
||||
7. ~~玩家可见的构建结果~~ ✅ **已修**（`72c4aa3`，缺陷 #36：列表路由附 `build_status`/`build_error`，面板「我的提交」展开行呈现，真机双例验证）。
|
||||
8. ~~面板文件编辑器入口~~ ✅ **已补**（`0a36b3f`，缺口补齐，真机 CDP 全链）。
|
||||
9. ~~fleet 系统服务死操作~~ ✅ **已修**（`2f90851`，缺陷 #37）。
|
||||
@@ -358,7 +372,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f
|
||||
- 面板会话 cookie：`/tmp/felis-cookies.json`；API 助手：`/tmp/fcurl.sh`
|
||||
- 测试服：`test-one`（minecraft ns，stopped）；合法备份 `bk-47ee2e7e96e5a4ca9d0e51b805518bac`
|
||||
- CDP 调试口：Mac `127.0.0.1:9333`（独立 Chrome，profile `/tmp/felis-chrome2`）；WebAuthn 虚拟认证器需在**同一 CDP 会话**内完成仪式，且先 `Page.bringToFront`（否则 NotAllowedError: page does not have focus）
|
||||
- 已部署到 VM：`felis-api`/`felis-operator` 镜像 = `felis:auditfix38`（含 #20–#43 全部修复；`FELIS_IMAGE` 已同步）；CLI 侧最新二进制 = `/root/felis-auditfix39`（含 #44；TUI 走查用）；**world 执行器以 root+DAC_OVERRIDE 运行**；reaper CronJob（minecraft ns）已收敛为 `suspend=false / felis:auditfix38 / nodeSelector=localhost.localdomain`；迁移 `schema_migrations` max=20；SMTP 密码 env 待 `felis setup`「configure email」刷新时落地；felis-api Role 已手动补 `persistentvolumeclaims:get`、operator Role 已手动补 `minecraftservers:patch`（`felis install/setup` 重渲染时收敛）
|
||||
- 已部署到 VM：`felis-api`/`felis-operator`/reaper 镜像 = `felis:auditfix40`（含 #20–#44 + 94f71ee 的 /metrics；`FELIS_IMAGE` 已同步）；CLI 侧最新二进制 = `/root/felis-auditfix40`（含 #44；TUI 走查用）；**world 执行器以 root+DAC_OVERRIDE 运行**；reaper CronJob（minecraft ns）已收敛为 `suspend=false / felis:auditfix40 / nodeSelector=localhost.localdomain`；迁移 `schema_migrations` max=20；SMTP 密码 env 待 `felis setup`「configure email」刷新时落地；felis-api Role 已手动补 `persistentvolumeclaims:get`、operator Role 已手动补 `minecraftservers:patch`（`felis install/setup` 重渲染时收敛）
|
||||
- pgint 正确跑法（走 VM 的 PG，勿在本机起容器）：Mac 侧短隧道 `ssh -6 -i ~/.ssh/id_ed25519 -N -L 15433:127.0.0.1:5432 root@…` → `FELIS_TEST_PG_URL='postgres://felis:<pw>@localhost:15433/felis_pgint?sslmode=disable' go test -tags pgint ./internal/pgint/ -count=1`（pg_hba 的 `felis`/`felis_pgint` 规则已具备；隧道用完即 kill）
|
||||
- breakGlass TUI 驱动法：VM tmux `new-session -d -s bg -x 160 -y 45 "/root/felis-auditfixNN breakGlass"` + `set-window-option -t bg remain-on-exit on`（否则退出摘要读不到）；send-keys/capture-pane 驱动；退出码 1 = 操作失败（卡上会显示原因）
|
||||
- 构建链路 drill 现成条件：`felis-build` 里有 `felis-service-token`（Secret 复制）；`felis-config` 里 `kaniko_image/trivy_image` 指向 k3s containerd 已导入的 pin tag、`trivy_db_repository = registry.felis.svc:5000/mirror/trivy-db:2`（镜像配方 §8e）——⚠ pin 值必须同时写在 `/etc/felis/felis.host.toml` + `/etc/felis/felis.pod.toml`；改动按 §8e 重渲染 Secret + roll。只热补 live Secret 会被任何 reconfigure 冲掉（第二十六批实测教训）
|
||||
|
||||
Reference in new issue
Block a user