From 28fe7c43a9e7259829fc50b9e7cea9977036e487 Mon Sep 17 00:00:00 2001 From: Lemon-miaow Date: Wed, 23 Sep 2026 19:35:13 +0800 Subject: [PATCH] =?UTF-8?q?docs(audit):=20twenty-ninth=20batch=20=E2=80=94?= =?UTF-8?q?=20image=20durability=20live=20drills;=20#46=E2=80=93#49?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - registry hosting + loopback pull path landed (a9b275a/13d64e0/fa0e8d7) and drilled live: three installer re-runs, then GC simulations on the control plane (rolled felis-api pulled back in 25ms) and a game image (lobby-0, 182MB in 10ms). - #46 registry OOM (475MB-layer push killed the 256Mi template; dmesg evidence) fixed and re-verified: oom-kill count unchanged across a full rebuild+push. - #47 AppleDouble ._*.sql embedding broke felis migrate on a Mac-staged tree; .dockerignore fix probed live with a planted junk file. - #48 per-image docker start/stop tripped systemd start-limit-hit mid-batch; one wrap per batch, re-run mirrors all four. - #49 installer re-runs silently reverted operator [registry]/[archive] config; carry-forward landed + live-verified into host toml, pod toml and the Secret, and the carried pins drove a successful POST /images/build. - reachability table extended to #49 (① 20 ｜ ② 19 ｜ ③ 3+ ｜ ④ 4 ｜ 决策 3). --- AUDIT-2026-09-22.md | 35 +++++++++++++++++++++++++++++------ 1 file changed, 29 insertions(+), 6 deletions(-) diff --git a/AUDIT-2026-09-22.md b/AUDIT-2026-09-22.md index a072bb7..7b43b59 100644 --- a/AUDIT-2026-09-22.md +++ b/AUDIT-2026-09-22.md @@ -45,7 +45,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f | 14 | controller-runtime 日志噪音 | ✅ 修复：SetLogger 接 slog（`a415246`） | | 15 | reaper 启用未演练 | ✅ 已演练（见"第二日"节；CronJob 仍 `suspend=true` 防误删） | -## 可达性分级（#1–#45）——这些缺陷真实使用中到底谁能踩到 +## 可达性分级（#1–#49）——这些缺陷真实使用中到底谁能踩到 回应质疑"是不是全在测边界条件 / 只有内部 hook 才能触发"： @@ -99,8 +99,12 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f | 43 | #42 配套：409 一刀切文案 | ②（轻） | | 44 | 重跑 `felis setup` 完成 s/c reconfigure → 状态框退回“Setup complete”（信息一致性） | ①（轻） | | 45 | 评审看不到将被执行的 recipe（执行的是上传 blob 里的 Dockerfile）→ 盲批 | ① | +| 46 | 大层推送打死 registry（256Mi 模板被 OOM kill；实测 475MB 层）——用户构建/安装器入仓即触发 | ① | +| 47 | Mac 打包树构建：`._*.sql` 旁文件混入 embed → `felis migrate` 全挂 | ② | +| 48 | 安装器重跑：每镜像 start/stop docker 触发 systemd 限流 → 批量入仓中途断 | ② | +| 49 | 安装器重跑：`[registry]`/`[archive]` 运维配置静默回退（构建/S3/reaper 行为回默认） | ② | -统计：① 19 ｜ ② 16 ｜ ③ 3＋#23(a) ｜ ④ 4 ｜ 决策 3 ＝ 45。第三批构建链另有 3 处未编号修复（Job requests 超小节点上限 → 永远 Pending、Kaniko chown、Trivy DB egress 被锁）——均属 ①/②。 +统计：① 20 ｜ ② 19 ｜ ③ 3＋#23(a) ｜ ④ 4 ｜ 决策 3 ＝ 49。第三批构建链另有 3 处未编号修复（Job requests 超小节点上限 → 永远 Pending、Kaniko chown、Trivy DB egress 被锁）——均属 ①/②。 ## 已验证事实（正向清单） @@ -367,10 +371,28 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f - **可达性追加**：#45 定级 ①——每一次真实的"用户提交 → 管理员审核"都会踩到（审核者此前无法查看将被执行的内容）。 - **hook 链补齐（可复用）**：staff 账号走邮件登录门会被设计拒绝（refuse staff）→ owner 会话铸法：`op-login/start`（email=felis-owner@example.com）→ VM 日志 grep `email-otp` 取码（no-Mailer fallback）→ 内部面 `op-login/{id}/approve`（Bearer=felis-service-token；body `approver_uuid`=owner 的 mc_uuid）→ `op-login/finish`（curl -c 存 cookie）。 +### 本轮新增真机证据（第二十九批：镜像耐久落地 —— registry 托管 + 回环拉取路径；#46–#49） + +- **背景（结论清单第 2 条）**：磁盘压力演练证明 kubelet 会 GC 掉"当前无人使用"的镜像 → ImagePullBackOff，恢复依赖人工重导入。本批让镜像自愈：自建镜像全部托管进内建 registry，节点侧 pull 经回环 hostPort（节点 containerd 到 Service VIP 是死路，实测 "Empty reply"）。 +- **平台侧 `a9b275a`**：registry 容器端口加 `hostPort 127.0.0.1:5000`；同提交修 **#46** —— registry 独立资源模板（1 CPU / 2Gi）：旧模板 256Mi 在实测推 475MB 层时被 OOM kill（dmesg `oom-kill … registry, oom_score_adj=989`，上传中断），2Gi 下同一推送 2 秒完成。 +- **安装器侧 `13d64e0` + 文档 `fa0e8d7`**：自建镜像规范 ref = `registry.felis.svc:5000/felis/{felis,limbo,lobby,paper}:demo`；import 进 containerd 就用该名（首启命中本地，免 registry round-trip），`deploy_bundle` 之后统一 `push_images_to_registry` 入仓（推 `127.0.0.1:5000`；registry 只认主机名之后的路径 —— 推/拉落点一致）。`configure_registry_mirror` 写 `registries.yaml`（`registry.felis.svc:5000 → http://127.0.0.1:5000`），内容不变不重启 k3s；`import_registry_image` 预缓存 registry:2（重跑走跳过分支）。迁移 **0021** 把 recommended 白名单重指到 registry ref（线上实查两行已落）。 +- **真机三次重跑**（`/opt/felis/src` = 765a892 快照；`FELIS_SKIP_FETCH=1 FELIS_INSTALL_MODE=full FELIS_IMAGE=registry.felis.svc:5000/felis/felis:auditfix42`）： + - run1 失败 = **#47**：Mac tar 的 `._*` 旁文件混入构建上下文，`._0004_*.sql` 被 //go:embed → 新二进制的 `felis migrate` 报 `non-numeric version "."`，安装器停在 run_migrations。修复 `5fa8b74`（.dockerignore 排除 `._*`/`.DS_Store`）。复验方式：故意在暂存树留 `._zz_probe_junk.sql` → 重建后 `migrations applied`（过滤生效）。 + - run2 失败 = **#48**：每个镜像一对 `systemctl start/stop docker` 触发 systemd 限流（`Start request repeated too quickly / start-limit-hit`），第 4 个镜像（paper）未入仓。修复 `c7e585e`（整批一次 start/stop，单测锚定）。run3 零 `[fail]`：4 镜像全部入仓（push digest ×4 实收）。 + - run3 收敛实查：api/operator/reaper = `registry.felis.svc:5000/felis/felis:auditfix42`（registry ref 首滚命中本地 import）；registry 模板 1 CPU/2Gi 生效；reaper CronJob 同步换 ref 且 nodeSelector 保留；login/lobby Running 于 registry ref；迁移 applied。 +- **GC 演练（本批验收本体）**： + - A 控制面：`ctr images rm …/felis/felis:auditfix42` + `ctr content prune references` → 本地 ref 消失 → `rollout restart felis-api` → 事件 `Pulling` → `Pulled … Successfully pulled image … in 25ms`，ref 恢复、pod Running。 + - B 游戏：rm `…/felis/lobby:demo` → 删 `lobby-0` → `Successfully pulled … in 10ms … Image size: 182357358 bytes`，Running。 + - #46 复验：整轮重建 + 4 推送期间 dmesg `oom-kill` 计数不变（仍 2，历史）。 +- **构建 lane 复验**：`POST /images/build`（context=遗留 `sub-bf7dc18…`；ref `registry.felis.svc:5000/e2e/durable-check2:latest`）→ 202 → succeeded；registry `e2e/durable-check2` tags 落位；Job 事件见 felis/kaniko/trivy 三镜像就绪；白名单条目摘除（204）、Job 清。 +- **#49（同一条升级路径的第二类静默回退）**：`write_felis_toml` 重写整表（[registry] 仅 url+build_namespace、[archive] 仅 store+local_path）→ §8e 的 kaniko/trivy pin、构建上限、uploads 后端、[registry.s3]、reaper 的 retention/warn_before/max_local_bytes 在重跑时全部丢失（S3 安装切回 local、构建回退被 egress 拒绝的上游 executor）。修复 `765a892`+`b8e554d`（沿用 [smtp]/[[auth_source]] 的 carry 模式；url/build_namespace/store/local_path 保持安装器所有）。真机复验：预置 `retention = "30d"`，run3 后 host toml / pod toml / felis-config Secret 三层都在，且构建 lane 直接用 carry 的配置跑通（上条）。 +- **可达性**：#46 ①（用户构建大层或安装器入仓即触发；实测 475MB 层）；#47 ②（Mac 打包树构建路径，真机踩中）；#48 ②（安装器重跑，真机踩中）；#49 ②（升级=重跑安装器，真机踩中）。 +- **口径/遗留**：`demo-up.sh` 未改（dev/demo 路径，本地 tag 导入维持原状）；kaniko/trivy 编译默认值未动（§8e 改为"镜像进 registry"配方）；registry 2Gi 为渲染常量（暂未开 flag）；drill 残留：registry 里 `e2e/*` 小镜像留档，`durable-check2` 白名单条目已摘。 + ## 结论：离"生产可用"还差什么（按优先级） 1. ~~构建链路的上下文通道~~ ✅ **已修**（`f79e5eb`/`02fd2de`，真机全链路含拉回校验；Trivy DB 需按 §8e 镜像一次）。 -2. **镜像耐久**：kubelet 仍可能 GC 掉"当前无人使用"的镜像（游戏镜像已实测发生）。把控制面与游戏镜像推入内建 registry 并让 Deployment/StatefulSet 引用 registry 路径，可免去"事故后人工重导入"。本轮已用 runbook（troubleshooting §13b）兜住。 +2. ~~镜像耐久~~ ✅ **已完成**（第二十九批：`a9b275a`/`13d64e0`/`fa0e8d7` + `c7e585e`；三次真机重跑 + GC 两演练——控制面与游戏镜像被 GC 后自动回拉；同批修复并复验 #46/#47/#48/#49）。 3. ~~PG 级契约测试~~ ✅ **已落地**（`2a55a0d`）：`internal/pgint`（`-tags pgint`，需 `FELIS_TEST_PG_URL` 指向名字含 `pgint` 的库，harness 会 drop schema + 重放真实迁移）已覆盖会话/OTP/op-login/绑定码/submission/build/owner 角色；**首跑即抓到 #20**（索引与 ErrEmailTaken 从未存在）。运行方式见 CONTRIBUTING.md。 4. ~~面板把 /jobs 显示出来~~ ✅ **已完成**（`97a64c8`，备份页「最近操作」卡，正是它把 #35 暴露出来的）。 5. ~~多节点回收~~ ✅ **已修**（`daf7602`：`--reaper-node` → CronJob pod `kubernetes.io/hostname` nodeSelector，真机 render/dry-run/收敛 diff 三连；单节点部署不传即维持原状）。附带核销缺陷 #38（渲染提示里过期的 uid-1000/setfacl 指导）。 @@ -388,12 +410,13 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f ## 复现入口速查 -- 面板会话 cookie：`/tmp/owner-cookies2.txt`（auditfix41 后新铸；staff 邮件门被设计拒绝 → 走第二十八批的 op-login + 内部面 approve hook 链）；API 助手：`/tmp/fcurl.sh` +- 面板会话 cookie：`/tmp/owner-cookies2.txt`（2026-09-23 铸；auditfix42 部署后仍有效；staff 邮件门被设计拒绝 → 走第二十八批的 op-login + 内部面 approve hook 链）；API 助手：`/tmp/fcurl.sh` - 测试服：`test-one`（minecraft ns，stopped）；合法备份 `bk-47ee2e7e96e5a4ca9d0e51b805518bac` - CDP 调试口：Mac `127.0.0.1:9333`（独立 Chrome，profile `/tmp/felis-chrome2`）；WebAuthn 虚拟认证器需在**同一 CDP 会话**内完成仪式，且先 `Page.bringToFront`（否则 NotAllowedError: page does not have focus） -- 已部署到 VM：`felis-api`/`felis-operator`/reaper 镜像 = `felis:auditfix41`（含 #20–#45 + 94f71ee 的 /metrics；`FELIS_IMAGE` 已同步）；CLI 侧最新二进制 = `/root/felis-auditfix41`；**world 执行器以 root+DAC_OVERRIDE 运行**；reaper CronJob（minecraft ns）`suspend=false / felis:auditfix41 / nodeSelector=localhost.localdomain`；迁移 `schema_migrations` max=20；SMTP 密码 env 待 `felis setup`「configure email」刷新时落地；felis-api Role 已手动补 `persistentvolumeclaims:get`、operator Role 已手动补 `minecraftservers:patch`（`felis install/setup` 重渲染时收敛） +- 已部署到 VM：控制面（api/operator/reaper + `FELIS_IMAGE`）= `registry.felis.svc:5000/felis/felis:auditfix42`（含至 #49 的全部修复；镜像托管于内建 registry）；系统服/推荐 ref = `registry.felis.svc:5000/felis/{limbo,lobby,paper}:demo`；源码快照 `/opt/felis/src`（765a892，构建前需清 `._*` 或依赖 .dockerignore）；host 二进制 = `/usr/local/bin/felis`（run3 从镜像 docker cp 提取）；**docker 守护进程安装后被停掉（用前 `sudo systemctl start docker`）**；**world 执行器以 root+DAC_OVERRIDE 运行**；reaper CronJob（minecraft ns）`suspend=false / …auditfix42 / nodeSelector=localhost.localdomain`；迁移 `schema_migrations` max=21；SMTP 密码 env 待「configure email」刷新时落地 - pgint 正确跑法（走 VM 的 PG，勿在本机起容器）：Mac 侧短隧道 `ssh -6 -i ~/.ssh/id_ed25519 -N -L 15433:127.0.0.1:5432 root@…` → `FELIS_TEST_PG_URL='postgres://felis:@localhost:15433/felis_pgint?sslmode=disable' go test -tags pgint ./internal/pgint/ -count=1`（pg_hba 的 `felis`/`felis_pgint` 规则已具备；隧道用完即 kill） - breakGlass TUI 驱动法：VM tmux `new-session -d -s bg -x 160 -y 45 "/root/felis-auditfixNN breakGlass"` + `set-window-option -t bg remain-on-exit on`（否则退出摘要读不到）；send-keys/capture-pane 驱动；退出码 1 = 操作失败（卡上会显示原因） -- 构建链路 drill 现成条件：`felis-build` 里有 `felis-service-token`（Secret 复制）；`felis-config` 里 `kaniko_image/trivy_image` 指向 k3s containerd 已导入的 pin tag、`trivy_db_repository = registry.felis.svc:5000/mirror/trivy-db:2`（镜像配方 §8e）——⚠ pin 值必须同时写在 `/etc/felis/felis.host.toml` + `/etc/felis/felis.pod.toml`；改动按 §8e 重渲染 Secret + roll。只热补 live Secret 会被任何 reconfigure 冲掉（第二十六批实测教训） +- 构建链路 drill 现成条件：`felis-build` 里有 `felis-service-token`（Secret 复制）；`felis-config` 的 kaniko/trivy pin 指向内建 registry 的 mirror 路径（`registry.felis.svc:5000/mirror/...`，见 §8e）——本批后安装器重跑会 **carry** 这些 pin（不再被写盘冲掉；#49 复验点）；直构一行：`POST /api/v1/images/build`（context=`http://felis-api-internal.felis.svc.cluster.local:8081/api/v1/internal/submissions/sub-bf7dc18e9dd97dc2/context`） +- registry 工具：`curl -s http://127.0.0.1:5000/v2/_catalog`、`/v2//tags/list`；**取 manifest 必须带 `Accept:`（OCI index/manifest list；缺 Accept 的 GET 会 404，别误判没推上）**；GC 演练配方：`k3s ctr images rm `（要清到 blob 级再加 `k3s ctr content prune references`）→ 删 pod / `rollout restart` → `kubectl describe` 看 `Pulled … in …ms` - setup 重跑向导（第二十六批）：状态屏 `c/s/e` 三流已走查；**reconfigure 非只读**——storage 选 Local / 提交 S3 即 apply + 滚 API（幂等），email 表单 esc 无副作用；从 S3 表单 esc 退回会重置为 Local 预选 - VM 内部面：`k3s kubectl -n felis port-forward svc/felis-api-internal 18081:8081`（Pod 重建后转发会悬死，需重启）；reaper CronJob（minecraft ns）已应用且已收敛（`suspend=false`）