From de35ab8cf6592939e146bf4dfeac932de0ba87ce Mon Sep 17 00:00:00 2001 From: shunli Date: Mon, 27 Jul 2026 17:25:25 +0800 Subject: [PATCH] =?UTF-8?q?=E8=AE=B0=E5=BD=95=E5=BC=82=E6=9C=BA=E5=A4=87?= =?UTF-8?q?=E4=BB=BD=E8=BF=9C=E7=AB=AF=E5=90=AF=E7=94=A8=E4=B8=8E=E5=91=8A?= =?UTF-8?q?=E8=AD=A6=E9=AA=8C=E6=94=B6=EF=BC=8807-27-automatic-offhost-bac?= =?UTF-8?q?kup=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../07-27-automatic-offhost-backup/implement.md | 16 +++++++++++++--- .../tasks/07-27-automatic-offhost-backup/prd.md | 10 +++++----- 2 files changed, 18 insertions(+), 8 deletions(-) diff --git a/.trellis/tasks/07-27-automatic-offhost-backup/implement.md b/.trellis/tasks/07-27-automatic-offhost-backup/implement.md index ae5f83af..e2a029c1 100644 --- a/.trellis/tasks/07-27-automatic-offhost-backup/implement.md +++ b/.trellis/tasks/07-27-automatic-offhost-backup/implement.md @@ -10,8 +10,8 @@ - [x] 更新部署环境契约、runbook、checklist、管理员手册的最小操作入口和 `.trellis/spec/hyb-oa/deployment-trialrun.md`；不新增平行长文档。 - [x] 生成一页脱敏恢复卡内容，优先放在现有 runbook 的首部紧急段；由用户复制到公司知识库并安排第二人走查。 - [x] 完成本地全量门禁并提交；生产、ARM 安装另行请求批准。 -- [ ] 获批后先安装 ARM 接收端并用合成批次验证，再安装生产 units，手工运行首次真实自动批次，最后 enable timers。 -- [ ] 获批执行一次可控传输失败告警并恢复正常链路；不读取附件正文、不执行业务或企微其他写入。 +- [x] 获批后先安装 ARM 接收端并用合成批次验证，再安装生产 units，手工运行首次真实自动批次，最后 enable timers。 +- [x] 获批执行一次可控源端停止告警并恢复正常链路；不读取附件正文、不执行业务或企微其他写入。 - [x] 删除个人工号默认值，新增生产/ARM 共用的 root-only 企微群机器人 helper；两端 systemd 只绑定 Webhook 文件路径。 - [x] 增加 ARM 26 小时 dead-man service/timer，覆盖缺批次、超龄、损坏、重复降噪和恢复通知。 - [x] 将 buildSha 不同降级为 finding；缺失/损坏/超龄/project 不同继续硬失败，并支持部署后立即运行一次备份。 @@ -65,7 +65,7 @@ - `scripts/check-minimal.sh` 通过：server 162 个测试文件、1004 项测试全部通过，client typecheck/build 通过。 - 环境合同、Trellis task/governance、敏感扫描、文档注册、流程合同和 `git diff --check` 均通过；文档注册保留既有 22 个未注册文件 warning，无本任务新增文档。 - 最终只读复核修正了三个本地缺陷：生产安装器残留个人工号校验、ARM 重装可能改变 dead-man 状态文件属主、stale 状态未校验 run id/manifest SHA；修正后 46 项合同与 `scripts/check-minimal.sh` 全量复跑通过。 -- 更新后的 ARM dead-man/helper、生产 helper/runner、真实有效首批、四组 timer enable、真实企微失败链路和第二人季度走查仍为外部门禁，未执行、不得写成已完成。 +- 更新后的 ARM dead-man/helper、生产 helper/runner、真实有效首批、四组 timer enable 与真实企微失败链路已在单独授权后完成；第二人季度走查仍为外部门禁，未执行、不得写成已完成。 ### 首次远端执行增量 @@ -73,3 +73,13 @@ - 生产三组 units 已安装为 disabled/inactive，并绑定活动 Compose project、PGDATA、附件挂载、构建标识和固定 SSH 身份。 - 首次真实备份曾在 `runtime_identity` 阶段因 Docker `println` 参数间空格 fail-closed；runner 改用 `docker inspect` mount JSON 后，后续真实源端成对批次已生成并传输。 - ARM finalize 随后因同 UTC 日已有不同 run id 而拒绝，因此尚无可作为自动备份闭环证据的新批次；本轮已在本地实现“完整校验后同日取代”，更新后的远端脚本、首批和 timer enable 仍待另行批准。 + +### 远端启用与真实告警验收增量 + +- 获批部署 `a0006f0` 后，生产活动构建与预期一致；自动备份同日新批次经 ARM 完整校验后安全取代旧日批次，源端与目标端 manifest、文件大小和 SHA-256 一致，最近失败诊断不存在。 +- 生产 daily、watchdog、季度恢复提醒与 ARM dead-man 四组 timer 均为 `enabled/active`；最终只读复核中四个对应 service 最近结果均为 `success`、退出码均为 `0`。 +- daily 下一窗口为每日 02:30，ARM dead-man 为每日 06:30、26 小时阈值，生产 watchdog 为每日 07:10，季度恢复提醒为每季度首日 09:00；失败验收结束后 daily 已恢复正常调度。 +- 两端企微运维群机器人均由用户手工写入执行账号持有的 root-only `0600` 文件；Codex 未读取、回显或记录 Webhook 内容。 +- 真实失败链路通过停止源端 daily timer 并临时缩短 ARM 阈值触发：首次 dead-man 超龄只发送一条 `FAIL_OFFHOST_DEADMAN`/`archive_stale` 脱敏通知，相同失败重复执行明确降噪、不再次发送。 +- 恢复 daily、生成新的真实有效批次并恢复 ARM 正常阈值后，dead-man 返回 `success/0`，企微群只收到一条 `PASS_OFFHOST_DEADMAN_FRESH`/`healthy` 恢复通知；临时失败测试脚本已删除。 +- 本轮外部验收未读取附件正文、备份文件正文、原始日志或 Webhook 内容，未修改业务数据；恢复卡复制到公司知识库和第二名内部人员只读走查仍待人工完成。 diff --git a/.trellis/tasks/07-27-automatic-offhost-backup/prd.md b/.trellis/tasks/07-27-automatic-offhost-backup/prd.md index 61e3ec3d..3c7feda0 100644 --- a/.trellis/tasks/07-27-automatic-offhost-backup/prd.md +++ b/.trellis/tasks/07-27-automatic-offhost-backup/prd.md @@ -12,8 +12,8 @@ - 两台主机之间当前没有可直接复用的免密 SSH 别名或密钥链路，不能把本地工作站的 SSH 配置误当作服务器间自动化能力。 - 当前手工正确批次和 ARM 影子恢复已证明格式可用，但不能满足 RPO 24 小时或自动失败发现。 - 已确认采用“生产主动推送到 ARM 的专用受限接收身份”：生产保留即时传输结果，ARM 的已归档批次不暴露给 rsync 写入根。 -- 生产切换已经完成并应用 61 项 migration；本地当前为 62 项，`2526052` 后续部署只新增 1 项 migration。自动备份三组 units 已安装但仍未形成可靠启用闭环。 -- 首次真实自动批次已证明源端成对备份可生成，但 ARM 因“同一 UTC 日仅允许一个不同 run_id”拒绝重试批次；现有即时告警还依赖活动 server 容器，不能覆盖容器或整机故障。 +- 任务实施前，生产切换已完成并应用 61 项 migration；本地为 62 项，`2526052` 后续部署只新增 1 项 migration。当时自动备份三组 units 已安装但尚未形成可靠启用闭环。 +- 首次真实自动批次曾证明源端成对备份可生成，但 ARM 因“同一 UTC 日仅允许一个不同 run_id”拒绝重试批次；当时即时告警仍依赖活动 server 容器，不能覆盖容器或整机故障。 ## Scope @@ -49,9 +49,9 @@ - [x] 本地合成测试证明 buildSha 不同仅产生 finding，恢复点缺失/损坏/超龄/project 不同仍失败；失败诊断为 `0600` 且不进入告警摘要。 - [x] 环境契约证明 Webhook 相关键和值不出现在 `.env.example`、仓库配置或报告；两端安装器只接受 root-only Webhook 文件路径。 - [x] ARM 26 小时 dead-man 合成验证覆盖“源端停止/不产生新 finalize”而非仅验证机器人能发送，并覆盖首次失败、重复降噪与恢复通知。 -- [ ] systemd 安装器显式绑定 Compose project、活动数据路径、构建标识、备份根和受限远端身份；安装后 timer enabled/active，但部署验证不手工执行真实告警。 -- [ ] 经单独生产授权后完成一次自动日备份：源端完整、ARM 目标端哈希一致、状态报告脱敏，且未读取附件正文或修改业务数据。 -- [ ] 模拟传输失败能在当天产生一条脱敏企微告警；测试后恢复正常链路并完成成功批次。 +- [x] systemd 安装器显式绑定 Compose project、活动数据路径、构建标识、备份根和受限远端身份；安装后四组 timer 均 enabled/active，安装阶段未手工执行真实告警。 +- [x] 经单独生产授权后完成一次自动日备份：源端完整、ARM 目标端哈希一致、状态报告脱敏，且未读取附件正文或修改业务数据。 +- [x] 模拟源端停止产生一条脱敏企微告警，相同失败重复执行不再发送；恢复正常链路并完成成功批次后只发送一条恢复通知。 - [ ] 恢复卡经第二名内部人员只读走查，能够指出恢复入口、影子目标和 `/ready`/关键计数验收项。 ## Out of Scope