文章目录每日一句正能量一、前言迁移不是一锤子买卖二、灰度策略设计2.1 什么是灰度发布2.2 灰度策略选择2.3 我们的灰度策略三、双写方案设计3.1 为什么要双写3.2 双写架构3.3 双写实现3.4 双写注意事项四、数据校验方案4.1 校验时机4.2 校验方法4.3 自动化校验脚本五、回滚机制设计5.1 回滚触发条件5.2 回滚方案5.3 回滚演练六、监控告警6.1 监控指标6.2 告警规则6.3 告警通知七、总结每日一句正能量宁愿跟滋养你的人一起发呆也别跟消耗你的人分享喜悦。滋养你的人沉默也是养分消耗你的人再热烈的分享也会被抽干。你的喜悦很珍贵别交给会把它变成疲惫的人。一、前言迁移不是一锤子买卖前面七篇文章我分享了MySQL迁移KaiwuDB的完整流程、工具使用、类型映射、SQL改造和性能测试。有读者问“迁移到生产环境时如何做到不影响业务万一出问题怎么办”这是个好问题。生产环境迁移和测试环境最大的区别就是不能停机不能出错。一旦出问题可能影响成千上万的用户。本文就把生产环境迁移的灰度策略和回滚机制分享出来包括如何设计灰度方案、如何做数据校验、如何快速回滚。二、灰度策略设计2.1 什么是灰度发布灰度发布Canary Release是一种渐进式发布策略将新版本逐步推送给部分用户观察效果后再全量发布。核心思想先小范围验证再逐步扩大发现问题及时止损降低风险保障业务连续性2.2 灰度策略选择策略适用场景优点缺点按用户ID用户量大的系统粒度细可控实现复杂按地域地域分布广的系统影响面小不够精细按功能功能模块多的系统风险隔离需要改造代码按时间有波峰波谷的系统简单可控不够灵活按流量流量可控的系统粒度细可控需要流量控制2.3 我们的灰度策略我们采用的是按用户ID 按流量的混合策略第一阶段内部员工约100人第二阶段VIP用户约1000人第三阶段普通用户10%约1万人第四阶段普通用户50%约5万人第五阶段全量用户约10万人实现方式# 灰度控制classGrayRelease:def__init__(self):self.gray_config{phase:3,# 当前阶段percentage:10,# 流量百分比user_ids:[10086,10087,10088],# 白名单用户}defis_gray(self,user_id):# 白名单用户直接放行ifuser_idinself.gray_config[user_ids]:returnTrue# 按用户ID哈希取模importhashlib hash_valueint(hashlib.md5(str(user_id).encode()).hexdigest(),16)returnhash_value%100self.gray_config[percentage]defget_db(self,user_id):ifself.is_gray(user_id):returnkaiwudb# 新数据库else:returnmysql# 旧数据库三、双写方案设计3.1 为什么要双写灰度发布期间需要保证新旧数据库的数据一致性。双写方案可以确保新数据库的数据实时同步旧数据库的数据不受影响随时可以切换回旧数据库3.2 双写架构┌─────────────┐ │ 应用层 │ └──────┬──────┘ │ ┌────────────┐ │ 双写控制层 │ └──────┬──────┘ │ ┌───┴───┐ │ │ ┌──┴──┐ ┌──┴──┐ │MySQL│ │Kaiwu│ └─────┘ └─────┘3.3 双写实现# 双写控制classDualWrite:def__init__(self):self.mysql_conncreate_mysql_connection()self.kaiwudb_conncreate_kaiwudb_connection()self.gray_releaseGrayRelease()defwrite(self,user_id,sql,params):# 写入MySQLself.mysql_conn.execute(sql,params)# 如果用户在灰度名单同时写入KaiwuDBifself.gray_release.is_gray(user_id):try:self.kaiwudb_conn.execute(sql,params)exceptExceptionase:# 记录日志但不影响主流程logger.error(fKaiwuDB write failed:{e})3.4 双写注意事项性能影响双写会增加响应时间建议异步写入数据一致性需要处理MySQL写入成功但KaiwuDB写入失败的情况异常处理KaiwuDB写入失败不能影响MySQL写入监控告警需要监控双写的成功率和延迟四、数据校验方案4.1 校验时机阶段校验内容频率迁移前源数据完整性一次性迁移中增量数据一致性实时迁移后全量数据一致性每日灰度期间灰度用户数据实时4.2 校验方法1. 行数校验-- MySQLSELECTCOUNT(*)FROMorders;-- KaiwuDBSELECTCOUNT(*)FROMorders;2. 主键校验-- MySQLSELECTCOUNT(DISTINCTid)FROMorders;-- KaiwuDBSELECTCOUNT(DISTINCTid)FROMorders;3. 金额校验-- MySQLSELECTSUM(total_amount)FROMorders;-- KaiwuDBSELECTSUM(total_amount)FROMorders;4. 时间范围校验-- MySQLSELECTMIN(created_at),MAX(created_at)FROMorders;-- KaiwuDBSELECTMIN(created_at),MAX(created_at)FROMorders;5. 抽样校验importrandomdefsample_verify(table,sample_size100):# 随机抽样sample_idsrandom.sample(get_all_ids(table),sample_size)foridinsample_ids:# 查询MySQLmysql_datamysql_conn.execute(fSELECT * FROM{table}WHERE id {id})# 查询KaiwuDBkaiwudb_datakaiwudb_conn.execute(fSELECT * FROM{table}WHERE id {id})# 对比数据ifmysql_data!kaiwudb_data:logger.error(fData mismatch: id{id})returnFalsereturnTrue4.3 自动化校验脚本#!/usr/bin/env python3# data_verify.pyimportloggingfromdatetimeimportdatetimeclassDataVerifier:def__init__(self,mysql_conn,kaiwudb_conn):self.mysql_connmysql_conn self.kaiwudb_connkaiwudb_conn self.loggerlogging.getLogger(__name__)defverify_count(self,table):校验行数mysql_countself.mysql_conn.execute(fSELECT COUNT(*) FROM{table})[0][0]kaiwudb_countself.kaiwudb_conn.execute(fSELECT COUNT(*) FROM{table})[0][0]ifmysql_count!kaiwudb_count:self.logger.error(fCount mismatch:{table}MySQL{mysql_count}, KaiwuDB{kaiwudb_count})returnFalseself.logger.info(fCount verified:{table}{mysql_count})returnTruedefverify_sum(self,table,column):校验汇总mysql_sumself.mysql_conn.execute(fSELECT SUM({column}) FROM{table})[0][0]kaiwudb_sumself.kaiwudb_conn.execute(fSELECT SUM({column}) FROM{table})[0][0]ifmysql_sum!kaiwudb_sum:self.logger.error(fSum mismatch:{table}.{column}MySQL{mysql_sum}, KaiwuDB{kaiwudb_sum})returnFalseself.logger.info(fSum verified:{table}.{column}{mysql_sum})returnTruedefverify_sample(self,table,sample_size100):抽样校验importrandom# 获取所有IDidsself.mysql_conn.execute(fSELECT id FROM{table})sample_idsrandom.sample([row[0]forrowinids],min(sample_size,len(ids)))foridinsample_ids:mysql_dataself.mysql_conn.execute(fSELECT * FROM{table}WHERE id {id})[0]kaiwudb_dataself.kaiwudb_conn.execute(fSELECT * FROM{table}WHERE id {id})[0]ifmysql_data!kaiwudb_data:self.logger.error(fData mismatch:{table}id{id})returnFalseself.logger.info(fSample verified:{table}{len(sample_ids)})returnTruedefrun_full_verify(self,tables):执行完整校验results{}fortableintables:self.logger.info(fVerifying table:{table})count_okself.verify_count(table)sum_okself.verify_sum(table,total_amount)sample_okself.verify_sample(table)results[table]{count:count_ok,sum:sum_ok,sample:sample_ok,}returnresults# 使用示例verifierDataVerifier(mysql_conn,kaiwudb_conn)resultsverifier.run_full_verify([orders,users,products])五、回滚机制设计5.1 回滚触发条件条件说明处理方式数据不一致校验失败立即停止灰度性能下降响应时间阈值观察或回滚错误率上升错误率阈值立即回滚业务异常功能异常立即回滚用户投诉大量投诉立即回滚5.2 回滚方案1. 数据库回滚classRollback:def__init__(self):self.mysql_conncreate_mysql_connection()self.kaiwudb_conncreate_kaiwudb_connection()defrollback_to_mysql(self,user_id):回滚到MySQL# 1. 停止双写stop_dual_write()# 2. 切换数据库连接switch_to_mysql()# 3. 验证数据verify_data()# 4. 通知相关人员notify_team(fRollback to MySQL for user{user_id})defrollback_to_kaiwudb(self,user_id):回滚到KaiwuDB# 1. 停止双写stop_dual_write()# 2. 切换数据库连接switch_to_kaiwudb()# 3. 验证数据verify_data()# 4. 通知相关人员notify_team(fRollback to KaiwuDB for user{user_id})2. 流量回滚classTrafficRollback:def__init__(self):self.gray_releaseGrayRelease()defrollback_traffic(self,percentage0):回滚流量# 将灰度百分比调整为0self.gray_release.update_percentage(percentage)# 通知相关人员notify_team(fTraffic rollback to{percentage}%)5.3 回滚演练回滚演练计划演练时间每周日凌晨2点演练内容模拟数据不一致模拟性能下降模拟业务异常演练目标验证回滚流程验证回滚时间验证数据一致性回滚演练脚本#!/usr/bin/env python3# rollback_drill.pyimporttimefromdatetimeimportdatetimeclassRollbackDrill:def__init__(self):self.rollbackRollback()self.verifierDataVerifier()defrun_drill(self):执行回滚演练print(f开始回滚演练:{datetime.now()})# 1. 模拟异常print(1. 模拟数据不一致...)simulate_data_inconsistency()# 2. 触发回滚print(2. 触发回滚...)start_timetime.time()self.rollback.rollback_to_mysql()rollback_timetime.time()-start_time# 3. 验证数据print(3. 验证数据...)self.verifier.run_full_verify([orders,users,products])# 4. 恢复服务print(4. 恢复服务...)restore_service()print(f回滚演练完成: 耗时{rollback_time:.2f}秒)# 执行演练drillRollbackDrill()drill.run_drill()六、监控告警6.1 监控指标指标说明阈值响应时间平均响应时间100ms错误率错误请求占比1%吞吐量每秒请求数1000数据一致性校验失败率0.1%双写延迟双写时间差100ms6.2 告警规则# 告警规则alerts:-name:response_time_highcondition:avg_response_time100msduration:5mseverity:warning-name:error_rate_highcondition:error_rate1%duration:1mseverity:critical-name:data_inconsistencycondition:verify_failure_rate0.1%duration:1mseverity:critical-name:dual_write_delaycondition:dual_write_delay100msduration:5mseverity:warning6.3 告警通知classAlertNotifier:def__init__(self):self.channels[email,sms,dingtalk]defnotify(self,alert):发送告警通知forchannelinself.channels:ifchannelemail:send_email(alert)elifchannelsms:send_sms(alert)elifchanneldingtalk:send_dingtalk(alert)七、总结生产环境迁移需要谨慎对待灰度策略和回滚机制是保障迁移成功的关键。灰度策略按用户ID 按流量混合策略分5个阶段逐步扩大双写保证数据一致性数据校验行数、主键、金额、时间范围校验抽样校验自动化校验脚本回滚机制明确的回滚触发条件快速的回滚流程定期的回滚演练监控告警响应时间、错误率、吞吐量数据一致性、双写延迟多渠道告警通知如果你正在考虑生产环境迁移建议做好充分的测试设计完善的灰度方案建立可靠的回滚机制做好监控告警转载自https://blog.csdn.net/u014727709/article/details/163833506欢迎 点赞✍评论⭐收藏欢迎指正