64 行
5.6 KiB
Markdown
64 行
5.6 KiB
Markdown
# 每日自动异机备份
|
|
|
|
## Goal
|
|
|
|
为 5–10 人内部 OA 建立低维护的每日自动恢复点：生产每天生成同批数据库、附件和 manifest，完整校验后复制到 ARM 备份机，失败可被当天发现并告警；同时用简单保留策略和季度人工影子恢复降低主机故障与静默备份失效风险。
|
|
|
|
## Background
|
|
|
|
- 现有 `scripts/backup-all.sh` 已能生成 DB、附件和脱敏 manifest 的完整批次，并在发布完整目录前验证 dump、tar 和 SHA-256。
|
|
- 当前仓库没有任何生产调度器调用 `backup-all.sh`；唯一活动 timer 是 07:30 运维巡检，不执行备份。
|
|
- 生产主机和 ARM 均有 systemd、SSH、`flock` 和 SHA-256 工具；生产有 rsync，ARM 当前没有 rsync。
|
|
- 两台主机之间当前没有可直接复用的免密 SSH 别名或密钥链路，不能把本地工作站的 SSH 配置误当作服务器间自动化能力。
|
|
- 当前手工正确批次和 ARM 影子恢复已证明格式可用，但不能满足 RPO 24 小时或自动失败发现。
|
|
- 已确认采用“生产主动推送到 ARM 的专用受限接收身份”：生产保留即时传输结果，ARM 的已归档批次不暴露给 rsync 写入根。
|
|
|
|
## Scope
|
|
|
|
- 生产每日成对备份、ARM 受限接收与目标端校验。
|
|
- 源端 7 个日批次、ARM 7 个日批次加 4 个周检查点的安全轮转。
|
|
- 每日 systemd 调度、独立 stale watchdog、失败企微告警和季度人工恢复提醒。
|
|
- 两端安装器、合成契约测试、现有运维文档/规约更新和一页脱敏恢复卡。
|
|
|
|
## Requirements
|
|
|
|
- 每日自动从唯一活动 Compose project 解析 DB 容器、活动附件挂载和实际构建标识，不读取旧项目、固定容器名或仓库默认附件目录。
|
|
- 复用 `backup-all.sh` 生成完整批次；任何来源核验、dump、tar、manifest 或哈希检查失败时不得进入异机完成态。
|
|
- 使用独立 systemd service/timer 和 `flock`，避免与部署、人工备份或自身上次运行重叠。
|
|
- 完整批次通过固定主机指纹和专用受限密钥自动推送到 ARM；该身份无普通 shell，只能把文件写入 inbox 或请求校验/归档，不能通过 rsync 读取或删除 archive。
|
|
- 传输端和目标端都要校验 manifest、文件大小和 SHA-256；同名已归档目标不得覆盖。中断传输可以在 inbox 内续传，但只有完整校验后才能原子进入 archive。
|
|
- 生产保留最近 7 个成功日批次；ARM 至少保留最近 7 个日批次和 4 个周检查点。清理只能发生在本次异机成功确认之后，且不得删除最后一个已知成功批次。
|
|
- 备份或异机校验失败必须生成脱敏状态报告，并复用现有企微运维告警能力；独立 stale watchdog 应在现有 07:30 巡检前检查最近一次异机成功时间，防止备份 timer 未运行或即时告警自身失败造成静默缺口。
|
|
- 告警只包含阶段、状态、finding 数和脱敏建议，不包含数据库凭证、完整目录、SSH 信息、真实业务数据、附件名或原始命令输出。
|
|
- 季度恢复保持人工触发，在 ARM 隔离目标执行；季度 timer 只发送一次脱敏提醒，不得自动运行恢复，更不得触碰生产库。
|
|
- 形成一页脱敏恢复卡，说明主机故障后的负责人、备份位置类别、恢复顺序和验收项，供另一名人员存入公司知识库。
|
|
|
|
## Acceptance Criteria
|
|
|
|
- [x] 本地合成测试证明每日 wrapper 只接受唯一活动来源、互斥锁有效，并只发布完整备份批次。
|
|
- [x] 传输测试证明不完整批次、哈希不一致、重复批次和不可达 ARM 均失败，且不产生异机成功状态。
|
|
- [x] 保留测试覆盖 7 个日批次、4 个周检查点、最后成功批次保护和仅在异机确认后清理。
|
|
- [x] 告警测试证明首次失败和状态恶化会告警，重复同一失败降噪；07:30 stale 检查能发现超过 24 小时没有异机成功记录。
|
|
- [ ] systemd 安装器显式绑定 Compose project、活动数据路径、构建标识、备份根和受限远端身份；安装后 timer enabled/active，但部署验证不手工执行真实告警。
|
|
- [ ] 经单独生产授权后完成一次自动日备份：源端完整、ARM 目标端哈希一致、状态报告脱敏，且未读取附件正文或修改业务数据。
|
|
- [ ] 模拟传输失败能在当天产生一条脱敏企微告警；测试后恢复正常链路并完成成功批次。
|
|
- [ ] 恢复卡经第二名内部人员只读走查，能够指出恢复入口、影子目标和 `/ready`/关键计数验收项。
|
|
|
|
## Out of Scope
|
|
|
|
- 不引入备份平台、对象存储、MinIO、云厂商 SDK、Kubernetes 或持续复制。
|
|
- 不自动执行生产恢复、数据库 reset、迁移改写或附件回写。
|
|
- 不把真实业务正文、附件清单、凭证、主机地址、完整目录或 SSH 私钥写入仓库、报告或聊天。
|
|
- 不在本任务继续企微本人授权、员工角色、付款、报销或其他产品功能。
|
|
- 不因自动备份完成而取消季度人工影子恢复。
|
|
|
|
## Test Plan
|
|
|
|
- Shell 语法与合成文件系统测试，覆盖锁、来源解析、传输失败、目标重复、哈希和保留轮转。
|
|
- 复用 `scripts/qa/run-backup-restore-drill.sh` 验证成对备份合同未回退。
|
|
- 聚焦测试现有企微运维告警的备份状态与 stale finding 适配。
|
|
- `node deploy/trialrun/validate-env-contract.js`。
|
|
- `python3 ./.trellis/scripts/task.py validate .trellis/tasks/07-27-automatic-offhost-backup`。
|
|
- Trellis governance、敏感扫描、文档注册/流程合同和 `git diff --check`。
|
|
- 生产安装、首次自动批次、真实失败告警和 ARM 目标验证分别保持外部门禁。
|