云上搬家，爱回收是怎么准备的？

万物新生集团旗下的爱回收是国内领先的电子产品回收及以旧换新服务提供商，爱回收成 立于2011年，履约网络覆盖全国，截至2021年底，在214座城市开设1287间门店。

多云时代

云上迁徙是艰难却必须要走的路

在Forrester的一项全球调查中发现，多云策略是云计算接下来的主要发展方向。无论是用于平衡风险还是充分利用各种云平台的优势和用例， 企业正逐步地将工作负载转移到多个云厂商 。

采用混合多云模式，一方面可以帮助企业保持系统架构的灵活性，享受更多行业优秀的PaaS服务，另一方面可以更长期维持低成本运行并实现业务系统容灾。2021年起，已经有越来越多的互联网企业开始探索并实践混合多云模式。

多云架构逐步成为共识，对于很多还长在一朵云上的企业来说， 第一个难题是如何实现更为稳定且高性价比的云上迁移 。

为了更好的应对未来变化，降本增效，2022年，爱回收开启了公司级迁云项目，将包含自营，拍机堂，业务中台等在内的数百个服务项跨云迁至京东云。

探寻多云架构下

跨云迁徙的最优分批策略

跨云迁移，是一个复杂的系统工程，要充分考虑技术可行性，终端用户体验以及迁移成本三个关键因素。为了业务稳定性和连贯性，大部分企业都会选择分批次、分阶段的逐步迁移。

在确保技术可行，降低终端用户感知并尽可能节约迁移成本三个因素制约下，如何实现业务和系统分批策略最优化，成为跨云迁移pre阶段技术部门最重要的课题。

爱回收的业务系统采用k8s部署的微服务架构，数百个微服务之间相互依赖关系复杂。同时，为了兼顾其交易数据和业务数据的一致性，迁移过程中，需要先将迁移批次的服务从之前的云服务商下线，通过专线将实时数据传输至京东云后，再将该批次系统上线至京东云，这一过程势必会产生正在迁移批次所涉及到的服务短时不可用的情况。因此，制定分批次迁移方案时，需要考虑的问题更多了，例如：

微服务ABC迁移至京东云的过程中，除了ABC本身，是否还会造成其他微服务DEF短时不可用？

微服务ABC成功迁移至京东云后，会对那些仍未迁移的微服务GHI产生影响吗？

因此，爱回收的技术团队一直在不断的探索 如何更好的对业务系统拆解分批 ，以最大化的降低迁移服务不可用对实际业务造成的影响 ，同时也在思考，如何验证这种分批策略，到底是不是最优？

京东云-云泰混沌工程平台

验证跨云迁徙方案

爱回收的技术团队提出利用混沌工程来选择并验证迁移方案的想法。

混沌工程是通过主动向系统中引入软件或硬件的异常状态，制造故障场景，并根据系统在各种压力下的行为表现，确定优化策略的一种系统性稳定性保障手段。

爱回收使用混沌工程平台来模拟某一迁移批次服务不可用，在此情况下实际验证其他服务受到的影响，然后根据测试结果再来不断的优化迁移策略，然后再次验证，直到完成最终的迁移批次划分方案。

这个过程就像给跨云迁移前的系统打一针“疫苗”。 可以在出现问题之前，优先提升防御。基于京东云的业务实践与技术能力，爱回收选择了“京东云-云泰混沌工程” 平台。

“京东云-云泰混沌工程平台” 是面向大中型企业客户的一站式故障注入与演练平台 ，设计原则是基于混沌工程原理，通过故障的仿真和注入、结合业务“稳定状态”监控检验系统的健壮性和可用性，提高系统应对生产环境失控条件的韧性。

5小时演练，398个故障场景

473次故障模拟

演练正式开始。

根据初定的迁移方案，使用“ 京东云-云泰混沌工程平台 ”，将故障注入至客户端（发起http请求的微服务），模拟初定首批迁移的微服务发生停服故障，并通过设置域名来精准控制故障的爆炸半径，精确匹配停服故障需求。

此故障的实际模拟是通过返回http 503状态码实现的，并且要求在客户端（发起http请求的微服务）而不是服务端（提供http服务的微服务）进行故障模拟，主流混沌工程平台不具备此项故障的模拟能力。为落地此故障并帮助爱回收客户高效完成大量故障场景的演练，“京东云-云泰混沌工程平台” 为爱回收进行了定制化的开发。

支持对Feign、jersey、httpclient、okhttp、rest客户端发起的http请求注入返回自定义状态码的故障

http自定义状态码故障支持仅对特定域名、特定路径生效（支持通配符），精准控制爆炸半径

支持批量创建故障场景、批量执行、批量停止，提高工作效率

双方合作制定了10个步骤的演练流程，并对其中涉及故障的部分进行循环操作。 5小时的演练时间内 ，总计创建 398个故障场景 、执行473次故障模拟，帮助爱回收 验证了3大核心业务系统在商品质检、运营中心、风控、支付4个迁移批次服务分别停服时的实际表现 。

根据核心业务系统在发生停服故障时的测试结果，爱回收优化了迁移的批次策略，并使用“京东云-云泰混沌工程平台” 针对优化后的迁移批次再次进行了故障模拟和结果验证。

基于多轮模拟验证，爱回收确定出技术可行，终端用户感知小且尽可能节约迁移成本的最优迁移策略。

混合多云时代

京东云数智化产品持续服务产业客户

混合多云已经占据了产业数智化进程中云计算领域的半壁江山，企业对于混合多云的理解也逐渐从简单的异构云调度支持开始向跨云迁移，跨云容灾和跨云多活等更深入的场景发展。京东云提供的混合多云服务能力极大降低了企业IT资源和运维管理成本，提升研发效能。

作为产业数智化的先行者，京东云基于零售、物流、健康、工业、园区等复杂场景的磨炼，持续输出更贴近业务场景的产品服务产业客户。

基于本次跨云迁移项目中混沌工程的演练效果 ，爱回收已经决定在生产、测试、研发等多个环境和工程中，长期使用 “京东云-云泰混沌工程平台”， 不断完善自身应急响应制度，制定更完备的预案措施。

下一步，爱回收也将借助京东云混合多云操作系统云舰，完成基础设施搭建和上层业务系统的部署工作，实现降本增效的同时，探寻更多业务价值。

持续深入合作，是客户对于京东云产业服务能力的最大褒奖。

关键词： 业务系统 故障模拟