1. 目标与总体架构概述

目标：在韩国部署 CN2 链路的主机发生故障时，确保海外业务在 5-15 分钟内恢复。
小分段：1) 采用主动-被动或主动-主动架构；2) 数据库主从复制 + 定期全量备份；3) 文件通过 rsync/对象存储同步；4) 使用 VIP/路由或 DNS 快速切换。

2. 监控与告警配置（前置条件）

步骤：1) 部署 Zabbix/Prometheus + Alertmanager；2) 配置包括 ICMP、TCP（80/443）、应用心跳、数据库延迟、磁盘 I/O 的探针；3) 把告警通过短信/微信群/PagerDuty 推送。
命令示例：配置 node_exporter 与 prometheus.yml，确保采集 interval=15s，设置报警规则例如：up == 0 持续 30s 触发。

3. 文件与静态资源同步（实时/近实时）

步骤：1) 在主备间配置 rsyncd 或 lsyncd（推荐 lsyncd 低延迟）；2) lsyncd 示例配置：在 /etc/lsyncd/lsyncd.conf.lua 中指定源目录与目标；3) 对于大文件或媒体，推荐同步到阿里云/腾讯对象存储并挂载或通过 CDN 加速。
示例命令：rsync -az --delete /var/www/ root@backup:/var/www 或 lsyncd 自动推送。

4. 数据库高可用与故障恢复步骤

步骤：1) 建立主从复制（MySQL/MariaDB）：在主库 my.cnf 设置 server-id=1, log_bin；在从库设置 server-id=2；创建复制用户：CREATE USER 'repl'@'%' IDENTIFIED BY 'pwd'; GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';2) 全量转储并导入：mysqldump --single-transaction --master-data=2 -u root -p db > dump.sql；3) 在从库执行 CHANGE MASTER TO MASTER_HOST='主IP', MASTER_USER='repl', MASTER_PASSWORD='pwd', MASTER_LOG_FILE='文件', MASTER_LOG_POS=位置; START SLAVE;。
故障时：提升从库为主（STOP SLAVE; RESET SLAVE ALL;）并把业务指向新主或更新 VIP/DNS。

5. VIP/漂浮 IP 与 Keepalived 配置（节点自动接管）

步骤：1) 安装 keepalived：apt/yum install keepalived；2) 编辑 /etc/keepalived/keepalived.conf，配置 vrrp_instance、virtual_ipaddress；示例：vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 203.0.113.10 } }；3) 启动并测试故障切换（关闭 MASTER 网络）。
注意：若托管商支持漂浮 IP，请使用云 API 快速解绑/绑定。

6. DNS 快速切换与 TTL 策略

步骤：1) 将业务域名 TTL 设为 60-120 秒（平时演练时）；2) 使用支持 API 的 DNS 提供商（如 Cloudflare、DNSPod），准备切换脚本；3) 发生故障时通过 API 将域名解析指向候选 IP 或负载均衡器。
示例：使用 curl 调用 DNSPod/Cloudflare API 更新 A 记录并验证生效。

7. BGP/路由级切换（适用于自有 ASN 或合约 BGP）

步骤：1) 若有 BGP 能力，准备两地路由策略，使用较高优先级/社区偏好切换到备机；2) 使用 ExaBGP 或供应商 API 动态宣布/撤回前缀；3) 在故障窗口内撤回故障节点路由并公布备节点路由。
注意：BGP 切换适合有运营商合作能力的用户，需预先演练并与韩国 CN2 提供方协商。

8. 自动化脚本与运行手册（Runbook）

步骤：1) 编写切换脚本集合：检测脚本、VIP 切换、DNS 更新、DB 提升脚本、回滚脚本；2) 将脚本放入版本控制并具备审计；3) 准备纸质/在线 Runbook，包含故障判定条件、负责人、联系表、时间节点与回滚策略。
示例：./promote_db.sh 会执行 STOP SLAVE; RESET SLAVE ALL; 服务重启并通知 load balancer。

9. 演练、恢复验证与 SLA 指标

步骤：1) 每季度做完整演练，从故障触发到业务恢复计时；2) 验证数据完整性（行数/校验和）、应用响应、证书/HTTPS 是否生效；3) 记录恢复时间（RTO）与数据丢失量（RPO），调整策略直到满足 SLA。
小提示：演练时务必在维护窗口并通知用户；使用流量回放工具检查业务完整性。

10. 问：如果韩国 CN2 主服务器完全断网，我应首先做什么？

首先确认监控告警，快速判定是否为链路级还是机器故障；如果链路故障优先触发 VIP/云浮动 IP 或 DNS 快速切换；同时触发数据库提升脚本并切换写入到备库，最后验证应用与静态资源是否能通过新 IP/域名访问。

11. 答：如何保证切换后数据不会丢失？

保证手段：1) 使用异步或半同步复制，并把重要事务做双写或使用中间消息队列；2) 切换前检查复制延迟（SHOW SLAVE STATUS），确保落后小于可接受窗口；3) 定期全量备份与 binlog 存档以支持回溯恢复。

12. 问：演练中发现回滚复杂怎么办？

遇到回滚复杂的情况，先停止外部写入流量，评估数据差异，使用 binlog 恢复或应用层补偿。事后应更新 Runbook，把回滚步骤脚本化并在非生产环境反复演练，降低人为操作风险。

13. 答：总结和建议

建议：预先做好多层冗余（网络、计算、存储、DNS）、把自动化与演练作为常态、与 CN2 供应方保持联络并签署故障响应流程。按以上步骤落地可将韩国 CN2 节点故障对海外业务的影响降到最低。

来源：海外业务持续可用方案信赖的韩国cn2服务器故障恢复策略