From 9c3a1c5be1682071afbc979a69486766fdc0859e Mon Sep 17 00:00:00 2001 From: Lemon-miaow Date: Wed, 23 Sep 2026 21:43:23 +0800 Subject: [PATCH] =?UTF-8?q?docs(audit):=20thirty-fifth=20batch=20=E2=80=94?= =?UTF-8?q?=20NetworkPolicy=20live=20enforcement=20matrix=20green=20(white?= =?UTF-8?q?list=20closed=20loop),=20velocity=20refresh=20loop=20verified?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- AUDIT-2026-09-22.md | 28 ++++++++++++++++++++++++++-- 1 file changed, 26 insertions(+), 2 deletions(-) diff --git a/AUDIT-2026-09-22.md b/AUDIT-2026-09-22.md index 71113ca..76f322b 100644 --- a/AUDIT-2026-09-22.md +++ b/AUDIT-2026-09-22.md @@ -126,6 +126,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f - 并发：OTP 风暴 8 路 = 1×202 + 7×429 且仅铸 1 码；绑定码并发（同码/双码）见 #18 ✅ - **reaper 全链路真机演练**（修复 #19 后）：绑定挂载假世界 → `felis reaper` 一 pass：归档 tar 落盘（内容含标记文件）、`world_backups` 行 `inactive_15d`+90d 过期、**PVC 删除且宿主目录回收**、servers 行保留且 activity 时钟重置（红线②）、CRD 保留；第二 pass：伪造过期归档被驱逐（`expired=1`，文件删、行转 `deleted`），合法归档未动；`evaluated=2 reaped=1` 只动到期的世界 ✅ - **S3 存储向导全链**（第三十二批）：错误凭据预检零副作用、正例落地（Secret + 两 toml + API 滚 + 状态行）、上传 → MinIO 桶 → 内部面取件、UI 回滚归位、控制面/工作负载镜像对齐 ✅ +- **NetworkPolicy 栅栏真机**（第三十五批）：pod 源"身份×端口"矩阵全对（允许行与拒绝行同源对照）、转发型外部源白名单闭环（拒→放→拒，ipset 与 spec 双幂等）、host/ClusterIP 路径全通、Mac→NodePort 面板 200；两条归因注记见该批 ✅ ### 本轮新增真机证据（第二日） @@ -509,6 +510,28 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f **六、观察（不计缺陷）**：premium 冷查询 fail-closed 抖动——api.mojang.com 从 VM 首查偶发接近 2s 超时 → 偶按「疑似 premium」给免费名加前缀（`FelisNanoStub1` → `LS_FelisNanoStub`）；符合 `isPremiumName` 既定取舍（误加前缀=外观代价，误放行=抢名），记观察不修。 +### 本轮新增真机证据（第三十五批：NetworkPolicy 真机强制矩阵全绿 —— 端到端白名单闭环 + felis-velocity 刷新存活验证） + +**零、装置与现场**：三张策略 live 于 `minecraft` ns（`felis-default-deny-ingress` / `felis-allow-rcon-from-control-plane` / `felis-allow-game-from-velocity`；apply 于 09-22T05:37:24Z，与渲染收敛 diff 零漂移）；k3s 参数无 `--disable-network-policy`，**强制执行实测生效**；kube-router 机制实证：per-pod `KUBE-POD-FW-*` 链、未标记流量 `REJECT --reject-with icmp-port-unreachable`、每链首条 `--src-type LOCAL -j ACCEPT`（本节点豁免）、ipBlock 落 ipset `KUBE-SRC-*`（白名单成员可直接查）。探测法：**nsenter 进真实 pod 网络命名空间（源 IP=真实 pod IP）+ netns/veth 合成「转发型外部源」10.99.0.2（模拟 velocity 在另一台机器）**；全程不改产品代码。 + +**一、pod 源矩阵（源=真实 pod netns）** +- api（felis，命中 RCON 白名单标签）→ lobby:25575 = **OPEN**；同源 → lobby:25565 = **REFUSED**（端口级区分 ✓） +- registry（felis，非匹配）→ lobby:25575/25565 = **REFUSED**；同 pod → api:8081 = OPEN（对照：无策略命名空间不受限） +- coredns（kube-system）→ login:25565 = **REFUSED** +- 收尾复跑全矩阵与首轮逐行一致（`np-matrix-run1/2.log`）。 + +**二、host（=velocity 同机侧）**：→ login/lobby 的 ClusterIP 与 podIP :25565 **全 OPEN**（velocity 注册的后端路径实际可用）；→ api-internal:8081 OPEN；→ lobby:25575 亦 OPEN——归因：kube-router 每 pod 链的 `--src-type LOCAL -j ACCEPT`（**本节点流量豁免，kube-router 设计行为**，kubelet 探针等依赖它；netpol 语义无法对节点自身收口，节点 root 本在 TCB 内）。**注记①：node-local 豁免。** + +**三、转发型外部源（最严苛模拟）** +- 基线：netns(10.99.0.2) → 全部服务器端口（podIP 与 ClusterIP、25565/25575）= REFUSED，包级可见 netpol 的 icmp-port-unreachable（`td3.log`）。 +- **白名单闭环**：临时把 10.99.0.0/24 加入 allow-game → ipset 即时生效（members：`10.99.0.0/24` + `10.211.55.6`）→ **lobby-svc:25565 与 login-svc:25565 = OPEN**（ClusterIP=velocity 实际拨号形态）；25575 仍 REFUSED（端口维度不破）→ 回滚 → spec 哈希逐字节一致（md5 `e6b07440…`）、ipset 复原、复测全部 REFUSED。 +- 层间归因：firewalld 规则含 `ct status dnat accept`（**DNAT 后的服务流量放行**；非 DNAT 转发走 forward policy 的 `admin-prohibited` 拒绝）——受支持拓扑（velocity 同机=LOCAL、ClusterIP、Mac→NodePort 面板 200）全部实测可用；「外部未经服务直连 podIP」不属于任何产品流。**注记②：firewalld 只放 DNAT 服务流。** +- 装置保养：veth 未归区时 firewalld 会拒其转发属装置噪声（已归因）；public 区临时挂载已摘、netns/veth 已删、策略零残留（spec diff 为空）。 + +**四、felis-velocity 刷新循环存活（顺带验证）**：20:18–20:42 的 `server list refresh failed` 全部落在 #52 演练的 API rollout 窗口（成功不打日志属设计）；tcpdump 450s 窗口抓到 52 条 `GET /api/v1/servers` 载荷行（成对出现=双抓包点看到同一请求，折算约 26 次 ≈ 每 15–17s 一次，与 `REGISTRATION_REFRESH=15s` 常量吻合）及对应 200 响应；"keeping current registrations" 为设计降级。非缺陷。 + +**五、留档（VM `/srv/npdrill/`）**：`np-matrix.sh`+`np-matrix-run1/2.log`、`np-netns.sh`、`netns-probe.py`、`np-cidr-test.sh/.log`、`spec-before/after.json`、`td3.log`（包级归因）、`tcpdump-8081.log`（刷新存活）、`iptables-save.txt` 与 `nft-rules.txt`（现场快照）。 + ## 结论：离"生产可用"还差什么（按优先级） 1. ~~构建链路的上下文通道~~ ✅ **已修**（`f79e5eb`/`02fd2de`，真机全链路含拉回校验；Trivy DB 需按 §8e 镜像一次）。 @@ -523,10 +546,10 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f 10. ~~S3 上传通道演练 + 存储向导逐屏~~ ✅ **已演练**（第二十四批：上传通道全链、0 缺陷；第三十二批：向导屏逐屏 + 上传取件 + UI 回滚，0 功能缺陷并修 #52）。 11. ~~breakGlass 控制台逐屏~~ ✅ **已演练**（第二十五批：菜单 4 操作 + bootstrap 分支，缺陷 #39–#43 全修全验）。~~`felis setup` 全屏向导逐屏~~ ✅ **重跑侧已逐屏**（第二十六批），**首装侧连续走查也已完成**（第三十一批：scratch 库单次连续走完全部屏幕 + 轨道回顾，0 缺陷）。 12. ~~`felis nano` 全链~~ ✅ **已走查**（第三十四批：HTTP 矩阵红 13→绿 60/60；systemd/配置/firewalld 三层重跑全绿；同批修复 #55——坏源静默挡住验证梯子）。 +13. ~~NetworkPolicy 真机强制矩阵~~ ✅ **已演练**（第三十五批：pod 源端口级矩阵全绿、转发型外部源「拒→放→拒」白名单闭环、host/ClusterIP/NodePort 路径全通；两条已归因注记——node-local 流量豁免、firewalld 仅放 DNAT 服务流）。 -## 剩余待演练队列（截至第三十四批） +## 剩余待演练队列（截至第三十五批） -- **NetworkPolicy 真机强制矩阵**：三张策略已 apply 到 live `minecraft` ns（default-deny / allow-rcon-from-control-plane / allow-game-from-velocity），单测与收敛 diff 已过；尚缺真机连通性组合——控制面 pod → 25575 通、其他 pod → 25575 被拒、游戏口只对 Velocity 侧 CIDR 开、其余源被拒。 - **reaper 多节点实机**：`--reaper-node` 渲染/dry-run/收敛已过（第二十三批）；真实多节点调度行为需要第二台机器组双节点集群，单节点环境覆盖不到（已知缺口）。 - **面板交互级收尾**：全路由渲染级巡检（14 路由）第十三批已过，users/files/backups/submissions/updates/passkey 等已交互级深挖；剩余页面按 CDP 逐页补完交互级点击。 - **`demo-up.sh`**（可选）：dev/demo 路径，第三十二批口径未改。 @@ -549,6 +572,7 @@ IPv6-only 接入（`ssh -6 -i ~/.ssh/id_ed25519 root@fdb2:2c26:f4e4:0:21c:42ff:f - 第三十二批 drill 留档：`/root/preS3/`（S3 走查前快照：两 toml + 两 ns Secret + sha256 + deploys.txt）、`/root/s3wiz/`（posts3 快照、postroll-sha256、fix52-red.txt、fix52-green.txt）、`/root/felis-fix52`（含 #52 的宿主二进制）；MinIO 容器+卷+两镜像、`felis-uploads-s3` Secret、DB 行（`image_submissions` `sub-853a4e2ba4ba6443`）、/tmp 残留均已清理，docker 已停 - 第三十三批 drill 留档（VM）：`/tmp/felis-fix53`、`/tmp/felis-fix54`（宿主二进制；sha `9afd141d…` / `a0b29153…`）、`/root/felis-fix52.bin`；`/tmp/player-cookies.txt`（player 会话）；面板 CDP 驱动脚本 `/tmp/cdp-updates2.js`（Mac 侧） - 第三十四批 drill 留档（VM）：`/srv/nanotest/`（nano 装置：`nano-stub.py` + 5 驱动脚本 + `matrix/` 红原跑 / `matrix-fix55/` 绿原跑）与四层重跑落盘 `matrix-red.r2.log`（`pass=47 fail=13`）/ `matrix-fix55.r2.log`（`pass=60 fail=0`）/ `nano-service.r2.log` / `nano-config.r2.log` / `nano-fw.r2.log`；`nano-stub` 临时单元仍在跑（收尾 `systemctl stop nano-stub`）；宿主二进制 `/usr/local/bin/felis-nano-test` = fix55 改名件（sha `2c8c34fd…`，与 `/usr/local/bin/felis` 同物） +- 第三十五批 drill 留档（VM）：`/srv/npdrill/`（netpol 装置全套：`np-matrix.sh` + `np-matrix-run1/2.log`、`np-netns.sh`、`netns-probe.py`、`np-cidr-test.sh/.log`、`spec-before/after.json`、`td3.log`（包级归因）、`tcpdump-8081.log`（刷新存活）、`iptables-save.txt` 与 `nft-rules.txt`）；netns/veth、firewalld 临时挂载、策略改动全部已清理/复原（spec md5 `e6b07440…` 前后一致） - pgint 正确跑法（走 VM 的 PG，勿在本机起容器）：Mac 侧短隧道 `ssh -6 -i ~/.ssh/id_ed25519 -N -L 15433:127.0.0.1:5432 root@…` → `FELIS_TEST_PG_URL='postgres://felis:@localhost:15433/felis_pgint?sslmode=disable' go test -tags pgint ./internal/pgint/ -count=1`（pg_hba 需 `host felis_pgint felis 127.0.0.1/32 scram-sha-256`；第三十一批把现场丢失的这条补回；隧道用完即 kill） - breakGlass TUI 驱动法：VM tmux `new-session -d -s bg -x 160 -y 45 "/root/felis-auditfixNN breakGlass"` + `set-window-option -t bg remain-on-exit on`（否则退出摘要读不到）；send-keys/capture-pane 驱动；退出码 1 = 操作失败（卡上会显示原因） - 构建链路 drill 现成条件：`felis-build` 里有 `felis-service-token`（Secret 复制）；`felis-config` 的 kaniko/trivy pin 指向内建 registry 的 mirror 路径（`registry.felis.svc:5000/mirror/...`，见 §8e）——本批后安装器重跑会 **carry** 这些 pin（不再被写盘冲掉；#49 复验点）；直构一行：`POST /api/v1/images/build`（context=`http://felis-api-internal.felis.svc.cluster.local:8081/api/v1/internal/submissions/sub-bf7dc18e9dd97dc2/context`）