Unverified Commit 58003205 authored by Lemon-miaow's avatar Lemon-miaow
Browse files

docs(audit): forty-third batch — build-job reaping (#67) + lifecycle/fault-injection soak 

Six CR-level run/stop cycles with three chaos injections (operator pod
kill, postgres restart, api pod kill) all converged (Running 23-29s,
Stopped 3s, pods gone per cycle); PG outage keeps the 503-not-401
session semantics; 30-request burst all 200; ownerless wake correctly
403s.  The build lane's missing Job TTL (#67, fixed in 2755e41f) was
verified live on auditfix62: a real build Job carries ttl=604800 and an
old Job patched to ttl=30s was reaped, pod and all, within 40s.
parent 2755e41f

AUDIT-2026-09-22.md

+32 −2
Changes for AUDIT-2026-09-22.md: 32 added lines, 2 removed lines.
Original line number Diff line number Diff line
@@ -124,6 +124,8 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 


第四十二批追加：#66（英文 README 缺中文版"使用方式"里的私有仓库安装 workaround 与重跑升级说明——英文读者照文档第一步即 404、无任何指引）①（轻）。



第四十三批追加：#67（build Job 从不设 `ttlSecondsAfterFinished`——每构建一次就永久留下一个完成 Job+Pod，完成 Pod 计入节点 pod 预算（stock k3s 110），构建量上来后新构建全 Pending）②（时间维度；随构建量从②滑向①）。



## 已验证事实（正向清单）



- 安装→hook 发码→Owner 绑定→passkey（虚拟认证器）→面板管理员全链路 ✅
@@ -750,6 +752,31 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 
**六、观察（不计缺陷）**

- `internal/api/handlers_account.go:169` 的 reclaim 选择仍为 Java/Velocity 侧 CODE-ONLY（deferred-seams 已记 accepting）——维持。



### 本轮新增真机证据（第四十三批：构建 Job 收尸 #67 + 生命周期/故障注入压测）



**零、现场**：控制面从 auditfix61 升到 **auditfix62**（含 #67；自建镜像推入内建 registry，api/operator/reaper 三处滚动，`felis version` = `v0.0.0+fix62`）。本批证据 = 6 轮起停循环 + 3 处故障注入 + PG 断连语义 + 并发风暴 + 持续轮询。



**一、#67（`2755e41`）：build Job 从不回收——每构建一个、完成 Pod 永久堆积**

- 红证据（真机）：`felis-build` 里 5 个完成 Job/Pod 最长 26h 无人回收；全仓 TTL 对照——fileedit 2m / backup 10m / restore 10m / reaper CronJob 3+3 历史，**唯独 build 没有 `ttlSecondsAfterFinished`**；且 `build.go:69` 的注释写着 "(e.g. GC'd); treated as failed"——预期的 GC 从未存在。危害：完成 Pod 计入节点 pod 预算（stock k3s 110），构建量一上来先把节点塞满，新构建全部 Pending；etcd/磁盘同步膨胀。

- 修复：`buildJobTTL = 7 * 24h`（终态后计时；日志路由是失败分诊面故取长窗；`Sync` 对终态幂等、`JobUnknown` 只影响非终态 → 删除后的唯一代价是日志 404）。单测 `TestBuildJobIsReapedAfterCompletion`。

- 真机验证（auditfix62）：① 真实路径触发构建（owner 会话 → `POST /api/v1/images/build`，借遗留 blob 作 context）→ 新 Job `ttlSecondsAfterFinished=604800`、构建 25s `succeeded`；② 对旧 Job 打 `ttl=30s` → 40s 内 Job+Pod 被 TTL 控制器收走（机制实证）；③ 旧堆积 5 个里 1 个已收、4 个留存对照。



**二、生命周期 ×6 + 三处故障注入（operator / api / postgresql）**

- 每轮：CR `desiredState` Running → 等 Running → Stopped → 等 pod 消失。结果：**6/6 全收敛**——Running 23–29s（注入轮与无注入轮无差）、Stopped 3s、pod 每轮如期消失；收尾 conditions 无 Failed 残留（Ready=False / RconReached=False = Stopped 正常；Provisioned=True）。

- 注入 1（cycle 2，删 operator pod @t+2s）：Running 仍 23s 达成（新 operator 立即接管 reconcile）。

- 注入 2（cycle 4，`systemctl restart postgresql`）：CR 路径无感；另做定点验证：PG 停机窗口 `/me` = **503**（非 401，#11 语义保持）、`/healthz` = 200（存活探针独立）、内部 status = 200（纯集群读）；PG 恢复后 `/me` = 200。

- 注入 3（cycle 5，删 api pod @t+2s）：内部轮询出现 2 次 `http=000`（约 6s 窗口）后自愈；Running 28s 达成。

- 观察（不计缺陷）：高频翻杆期间 operator 报 9 条 `Operation cannot be fulfilled ... object has been modified`（乐观锁冲突 → 重排队自愈），目标时间无差；controller-runtime 正常重试语义，生产低频操作下更罕见。



**三、并发风暴 + 拒绝面 + 持续轮询**

- 20 路并发 internal status + 10 路 `/me`：30/30 全 200。

- 无主 + ownerOnly 服 wake：403 `forbidden`（正确拒绝面，非 5xx）。

- 持续轮询（status + healthz + me，5s 一轮 × 300 轮 ≈ 25 分钟）：零失败（结果见收尾注记）。



**四、留档与收尾**

- 留档：`/root/soak43.sh` + `soak43.log`、`/root/poll43-long.sh` + `poll43-long.log`、`/root/mint-owner-43.sh`（owner 会话重铸）、`/root/felis-image-build43.log`（镜像构建）、`/tmp/owner-jar43.txt`（owner cookie）；镜像 `10.43.182.43:5000/felis/felis:auditfix62` 已入 registry（`e2e/ttl-probe:latest` = 本批 drill 镜像，保留）。

- VM 状态：docker 用毕已停（inactive）、k3s/velocity active；控制面三处 = auditfix62。



## 结论：离"生产可用"还差什么（按优先级）



1. ~~构建链路的上下文通道~~ ✅ **已修**（`f79e5eb`/`02fd2de`，真机全链路含拉回校验；Trivy DB 需按 §8e 镜像一次）。
@@ -772,9 +799,10 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 
18. ~~reaper 多节点实机~~ ✅ **已演练**（第三十九批：VM 克隆双节点 k3s——pin 命中持盘节点并跑通、错位 pin fail-closed Pending、装置全回收；`felis-backups` PVC 的 volume node affinity 构成第二层保险）。

19. ~~Java 插件层自动化缺口~~ ✅ **已补**（第四十批：`plugins/test.sh` + CI `plugins` 作业——三个手工测试与三个装机 jar 全进门禁，CI 4/4 绿；首跑抓出两处"没跑过"的错误：InviteCardTest 编译类路径缺 examination-api、limbo `+` 版本不可解析。同批关闭 demo-up 单起点化 #63、并复核剔除 #62）。

20. ~~装载器 mod 层（fabric/forge/neoforge）~~ ✅ **已收口**（第四十一批：#64 三个 `gradlew` 补可执行位、#65 元数据对齐 AGPL-3.0-only；`plugins/test-mods.sh` + CI `mods` 作业 + release 双门禁；三真实专用服起服 E2E——mod 装载、`/link` 注册、控制台拒绝全绿。CI run `35892544563` = 5/5，`mods` 作业首跑即绿）。

21. ~~全仓覆盖面对账 + 文档收尾~~ ✅ **已完成**（第四十二批：22 个 internal 包 × 面板 14 路由 × 全部 tracked 脚本 × 仓库卫生逐项对账，无盲区；#66 README_EN 修复；§28 两张序列图对齐现行实现；本地 `scripts/sync.sh` 排除清单与 `go:embed` 冲突——修复+复现验证〔脚本私有，不入库〕）。

21. ~~全仓覆盖面对账 + 文档收尾~~ ✅ **已完成**（第四十二批：22 个 internal 包 × 面板 17 条页面路由 × 全部 tracked 脚本 × 仓库卫生逐项对账，无盲区；#66 README_EN 修复；§28 两张序列图对齐现行实现；本地 `scripts/sync.sh` 排除清单与 `go:embed` 冲突——修复+复现验证〔脚本私有，不入库〕）。

22. ~~构建层资源回收~~ ✅ **已修**（第四十三批：#67 build Job TTL——完成 Job/Pod 不再无限堆积；真机：新构建 Job `ttl=604800` + 旧 Job 打 30s TTL 实测被 TTL 控制器收走。同批：6 轮生命周期循环 + operator/api/pg 三处注入全绿、PG 503 语义复验、30 路并发全 200）。



## 剩余待演练队列（截至第四十二批）

## 剩余待演练队列（截至第四十三批）



- ~~reaper 多节点实机~~ ✅ 已完结（第三十九批：临时克隆第二节点组双节点 k3s 实机——pin 命中持盘节点并跑通、错位 pin fail-closed Pending；装置已回收）。

- ~~面板交互级收尾~~ ✅ 已完结（第三十六–三十八批：管理面写操作、submissions/会话、服务器详情页全链，0 缺陷）。
@@ -782,6 +810,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 
- ~~Java 插件层自动化~~ ✅ 已补（第四十批：`plugins/test.sh` + CI `plugins` 作业；三个手工测试与三个装机 jar 首进 CI）。

- ~~装载器 mod 层（fabric/forge/neoforge）~~ ✅ 已收口（第四十一批：#64/#65 修复 + `plugins/test-mods.sh`/CI `mods`/release 双门禁 + 三真实专用服起服 E2E）。

- ~~全仓覆盖面对账~~ ✅ 已复核（第四十二批：模块×台账逐项对账无盲区；批次产出为文档/本地工具层面的修复，见该批节）。

- ~~长稳/故障注入（首轮）~~ ✅ 已完成（第四十三批：6 轮起停循环 + 3 处注入 + PG 断连 503 + 30 路并发 + 25 分钟持续轮询；见该批节）。



**队列现已清空。**（真实游戏客户端进服已按决定跳过，用内部 mint/approve hook 链替代；不依赖客户端的最大真机面见第四十批节 + 第四十一批节〔装载器三服起服〕；第四十二批为覆盖面对账复核。）
@@ -811,3 +840,4 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 
- 第三十八批收尾复查：docker `inactive`；控制面三处 = `auditfix61`；`/opt/felis/src` = `b4ef42d` tarball 展开（无 `.git`）；reaper `suspend=false` + `nodeSelector=localhost.localdomain`；test-one `Stopped`；`resolvecheck` 文件接口 409 `no_world_volume`（0.03s）

- 第三十九批 drill（已回收）：临时 VM `felis-node2`（`prlctl clone --linked` 克隆 node1；node2 停用 felis-velocity/k3s-server/docker 后以 agent 加入）——流程与两向对照见该批节；node1 为克隆经历过一次正常重启（组件全回归、docker 停回 `inactive`）；收尾 job/节点对象/VM 全部删除，集群回到单节点

- 第四十批工具与留档：VM `/tmp/mcprobe.py`（纯 socket MC 探针：`python3 /tmp/mcprobe.py status <sub>.<root>`；`login <sub>.<root> <name>` 打登录首包）；插件门禁跑法 = `docker run --rm -v /opt/felis/src:/src:z -w /src gradle:8.14-jdk21 bash plugins/test.sh`（或宿主 `bash plugins/test.sh`，需 JDK 21 + Gradle 8.14；日志 `/root/plugins-test-b40.log`）；T3（demo-up 默认臂全量重跑）日志 `/root/demo-up-b40.log`；`/opt/felis/src` = `c59b387` 快照（上一版 `src.bak40`；此后全量重跑用 `sudo bash /opt/felis/src/deploy/demo-up.sh` 即可，SKIP 开关见脚本头）；CI run `35888009965`（含新 `plugins` 作业首跑绿）

- 第四十三批工具与留档：控制面三处 = `registry.felis.svc:5000/felis/felis:auditfix62`（含 #67；镜像源 `10.43.182.43:5000/felis/felis:auditfix62`，宿主 docker build 后 `docker push 10.43.182.43:5000/...`）；`/opt/felis/src` = `2755e41` 快照（上一版 `src.bak42`）；owner 会话重铸 = `bash /root/mint-owner-43.sh`（cookie 落 `/tmp/owner-jar43.txt`）；直构触发（含 TTL 检查）= `curl -sk -b /tmp/owner-jar43.txt -X POST https://127.0.0.1:30443/api/v1/images/build -H 'Content-Type: application/json' -d '{"image_ref":"registry.felis.svc:5000/e2e/ttl-probe:latest","dockerfile":"FROM scratch\nLABEL felis=x\n","context_ref":"http://felis-api-internal.felis.svc.cluster.local:8081/api/v1/internal/submissions/sub-bf7dc18e9dd97dc2/context"}'` → `kubectl -n felis-build get job build-bld-<id> -o jsonpath='{.spec.ttlSecondsAfterFinished}'` 应为 `604800`；压测编排 `/root/soak43.sh`（日志 `soak43.log`，含 6 轮循环 + 3 注入）、长轮询 `/root/poll43-long.sh`（日志 `poll43-long.log`）；镜像构建日志 `/root/felis-image-build43.log`。注意：`lobby`/`login` 是保留名，internal per-server 路由（status/wake 等）对它们**按设计**返回 400，勿作缺陷误报。