乐鱼直播app:圆满完结!安全上云选对数据迁移策略很重要

2022-06-30 19:21:35 来源:乐鱼app苹果版下载 作者:leyu乐鱼娱乐

  6月8日,TeaTalk· Online应用实战系列活动第1期——数据迁移,安全上云的制胜法宝线上直播成功举办。本次直播我们跟随徐老师和申老师,学到了如何选择最适合的云迁移策略,也认识到了安全上云的重要性。

  以下为云能力中心迁移技术经理,徐志豪老师以及云能力中心助理软件工程开发师,申红伟老师的演讲实录。

  src=云迁移,指的在云计算时代,企业将传统IT设施从本地IDC/某云平台向特定云平台的迁移过程,以达到利用云计算平台在算力、存储、安全等方面优势,实现降低成本、加快数字化转型的目的。

  云计算产业经过了十余年的发展,在技术上和应用上取得了长足的进步,中国的云计算产业目前已经成为中国企业数字化转型的核心基础支撑引擎,但是和欧美国家的产业规模相对仍然差距巨大,云计算对于中国企业发展的助推引领作用未完全释放,未来产业规模巨大。

  虽然近些年,中国云计算产业快速增长,但是产业规模和欧美国家差距仍然巨大,仅仅占据美国的8%,但中国GDP占美国的66%,经济发展与云计算水平高度不协调;究其原因,国内企业上云率处于较低水平,根据麦肯锡统计,截止2018年仅达到40%左右相较于美国的85%,欧盟的70%,仍然相形见绌。

  我国各行业IT基础设施向云迁移成为趋势;云计算在弹性和扩展性方面的技术优势是企业上云的最关键因素;云计算新型技术为企业带来更多业务创新机会,如5G+云+AI的组合应用,进一步的丰富了企业业务的形式。

  根据中国云计算产业发展白皮书预测,未来中国云计算产业的方向应以加速推动重点行业上云、用云为着力点,增强云计算核心技术自主可控为主攻方向,夯实基础、优化环境、完善生态、强化安全,推动我国云计算产业高质量发展,进一步提升数字经济水平。

  在国内云计算市场内,各大云服务提供商除了在产品和服务数量、解决方案覆盖度、IaaS基础支撑能力、PaaS/SaaS产品竞争力等方面全面发力的同时,更开始注重云上生态的构建,一个好的生态可以推动整个云计算能力的快速提升与完善,生态的建设也十分依赖企业的全面上云。云迁移便是这推动整个云计算生态构建的重要一环。

  同时,传统IT系统业务快速发展,逐渐遇到成本/运维/体验等问题,急须将业务迁移上云寻求突破,移动云需要抓住机会,后来居上。政府逐渐加大对于企业数字化转型的政策扶持力度,过去几年在福建/浙江/广东和江苏已经建设多个大行的政务云、电商云等行业云平台。

  根据IDC预估未来1-3年,将迎来企业上云的高潮,预计2023年我国企业上云率将达到60%以上,移动云急需抓住这个机遇,要最在近1-2年内提升自己在上云支撑方面的布局和能力建设;根据IDC数据,预计2023年内云迁移服务的国内市场份额将达到至少33.5亿元, 云迁移在云计算产业的收入贡献比重也较为可观;通过云迁移这一发力点加快企业上云速度和深度,积极构建生态,显现对于移动云资源的销售带动、技术云原生的推动等作用。

  src=目前阶段业界广泛支持的云迁移对象包括应用系统迁移、数据库迁移、存储服务迁移、主机迁移在内的四大类,满足不同客户对于上云的需求。

  针对应用和中间件的上云迁移,如业务服务、负载均衡、消息队列等直接和业务相关的模块;

  应用上云目的一般为利用云上的优秀组件,实现对于应用架构的高伸缩、分布式的能力支持,提高业务扩展性。

  通过整机复制将本地主机或其他云的物理机和虚拟机迁移到公有云(P2V、V2V)上;变相的实现主机上的应用、数据组件的迁移;

  利用云数据库的高可用、弹性扩展的能力,对于性能不敏感的数据应用,直接基于迁移到云上,企业则专心关注业务层逻辑开发;

  上述场景常常为本地数据库和云上数据库形成灾备架构,当本地数据库故障的临时方案。也为未来应用上云做好了准备。

  缓解企业本地存储资源瓶颈,利用云上海量存储搭建企业海连高速存储池,释放本地高昂存储;

  第一种形态,我们称之为云端启程:一般是企业将新的应用直接部署在云上,或者开始将核心业务上云。

  主要针对的是三类用户,第一种是成本/技术压力型,以初创型企业为主,一般不具有自建IDC和自给运维能力,故租赁公有云部署应用。

  第二种是IDC扩容型,有些企业因为发展快,IDC出现容量不足,为满足业务快速上线,将应用部署在云端。

  第三种是具有全国性需求的企业,比如视频点播类业务,上云业务通过全国分布的资源池就近访问,提高客户体验。

  第二种形态是战线前移,利用云边、云智等高级特性,业务和云融为一体,开启云智能应用时代。

  一般为企业核心系统规模庞大,无法短时间内上云,仍在本地私有云,管理类应用优先上云,和核心生产系统形成混合云的架构,可方便移动和远程业务办公。

  亦或者,企业核心数据无法直接对外开放,则在公有云搭建用户侧增值类应用,并通过混合云安全的VPC网络,实现核心数据的共享,安全企业核心能力开放的需求,避免本地IDC直接对外暴露。

  第三种形态狡兔三窟,一般为企业无法充分信任本地IDC系统的绝对高可用,在公有云上同样搭建一套灾备中心。一般有两种做法。

  第一种是在公有云上部署一个完整的灾备中心,与本地IDC之间通过专线互联,当IDC出现故障,可临时切换到公有云灾备中心接管服务,保证业务连续性。(同城灾备)

  第二种是在公有云上AZ1部署一个完整的灾备中心,当IDC出现故障,优先切换业务到同城AZ,当AZ亦不可用时,切换至异地公有云资源池AZ2,最大限度的保证业务连续性。(两地三中心)

  第四种形态腾云驾务,企业当前业务系统IT架构落后,企图通过云的特性全面提升原系统的架构问题,借助云的分布式/弹性伸缩/安全等特点提升客户系统的可扩展性、安全性、和性能。

  上云后各层组件均支持横向扩、数据库集群保证高可用和扩展性、应用跑在容器内,被K8S动态编排、引入高性能缓存组件,提升性能、引入抗D、扫描等安全加固服务、引入APM等监控服务。

  第五种形态云融时代,是利用云边、云智等高级特性,业务和云融为一体,开启云智能应用时代。

  利用公有云多资源池的特点,构建边缘应用,发挥边缘计算的优势,如全国性企业,实现全国分支机构店铺录像,分析各门店客流量等信息。利用公有云上已有的大数据智能基础算力和算法,方便用户快速开发智能APP。

  迁移全流程包括评估分析阶段、规划设计阶段、验证实施阶段、优化验收阶段。评估分析阶段,首先需要召开项目开工会,对参与迁移的各方进行责任分工以及达成目标一致;

  src=迁移的核心目标需要考虑客户是应用上云还是数据上云,还是两者结合:

  数据上云:是迁数据库里面的数据,还是迁移文件系统/磁盘,还是存储的协议也迁过来。

  安全方面包括是否配置防火墙、WAF、VPN等安全组件,解决公网攻击的问题。

  业务系统现网情况调研:物理设备/虚拟机:OS、CPU、内存、磁盘、I/O、带宽等虚拟化:平台、虚拟化软件。

  业务系统调研:业务部署情况、关联关系、业务系统架构、性能要求、业务连续性要求、备份策略、高可用方案、开发环境软件提供商等。

  数据库调研:类别、版本、现有数据量、日增量、存储过程、trigger、函数个数等。

  方案的可靠性关系到迁移的安全性和稳定性。本方案以可靠性为设计的首要原则,要求迁移方案的可用性、可验证、可维护、可演练目的。

  迁移技术必须满足当前的现状和以后可能的扩展需求;不仅需要满足当前本地业务迁云的需求,还需考虑后续可能出现的跨云迁移需求。

  上云涉及重要信息资产的迁移,迁移过程信息安全的保护及其重要,在迁移的过程需要对各个容易导致数据泄露的环节进行严格的安全防护。

  src=接着是迁移方案设计、应急预案制定、迁移技术工具/准备、迁移操作手册制定。

  综合考虑业务系统部署架构、迁移技术/工具、兼容性、Downtime要求、特殊迁移需求、网络规划、目的端资源规划来制定合适的迁移方案。

  应急预案按照业务系统的连续性和性能压力要求,制定:应急预案启动、解除规则;应急措施;和应急团队人员分工。

  迁移技术和工具按需进行迁移技术、工具的实验室验证,可能涉及的第三方工具采购处理。迁移操作手册明确迁移操作实施时的分工:包括项目管理维度和技术维度。

  项目管理维度:按照客户流程要求进行相关操作申请;技术维度:明确每个操作步骤的分工。迁移演练,一般是由于团队成熟度不足,或者对迁移准备是否充分的评估结论。无把握时,可在正式迁移实施前进行演练。

  迁移实施过程中严格按照迁移SOP操作,确保迁移过程可追溯,迁移结果成功迁移完成后还需要进行监控。

  重点关注:云上资源的健康状态、业务系统的健康状态、性能参数,如服务器CPU/内存使用率、网络利用率、磁盘IO等。

  涉及应用系统优化改造时,还需要关注:应用系统的功能、性能;通过监控中发现的问题,进行相应优化,确保用户充分享用云上资源。

  在交付验收前,评估迁移后的效果是否达到预期,其中包括:云上资源利用率是否提升、云上系统运行稳定性和性能提升、迁移前后系统TCO对比。

  上云迁移真正开始的第一步就是需求评估,需求评估就是要列出系统当前的问题,迁移过程可能遇到的问题,目标端的问题;一般可以从以下几个方向思考:如何上移动云;上云过程中现有业务如何处置;迁移施工方的信任度;主机和存储如何迁移;数据库和应用如何迁移;进行迁移的成本如何。

  现有业务:尽量保持业务正常运行,只在切换的最后时刻留有一定的宕机时间完成最终的切换;

  数据库:数据库的类型,关系型还是Nosql;存量数据如何处理, 增量数据的大小,不同系统间是否有数据耦合;

  需求评估,首先需要评估源端业务对环境的依赖,源端环境各云资源之间的依赖,源端业务对环境的依赖。主要分析各个时间段业务峰值,对源端环境的依赖性,评估可执行迁移和业务切换的最佳时机;梳理云资源间依赖关系,迁移后有依赖关系的需要保持主机组;存在直接绑定关系的计算、存储、网络资源;VPC和子网下的安全组、路由表、云主机及其绑定的硬盘和IP等资源;网络安全策略,Ddos、防火墙等;负载均衡器的各个、主机组、策略等;弹性伸缩中不同伸缩组及其伸缩策略与伸缩配置;高可用资源组;备份关系。

  迁移过程可能会占用源端带宽,业务切换过程需要中断源端服务器,都可能对源端业务造成波动,需要分析源端的业务波动依赖性。

  源端业务峰值波动的原因可能是:迁移工具包安装运行过程,对源端波动;数据全量、增量复制传输过程,对源端带宽,上下行流量的占用;文件过滤处理,对源端业务影响;迁移完成,校验时对源端影响;源端服务器中断切换业务。

  校验通过后,需要切换源端业务服务器,使用云上服务器,需要一定的服务中断时间,中断期间内,业务数据需要停止。

  b) 运行环境,如服务器型号、配置,操作系统类型及版本、中间件类型及版本等;

  云迁移工作是一个系统性工程。云迁移团队需要结合客户企业业务、客户IT系统实际情况,针对迁移目标,为客户制定安全有效的方案建议和实施方案。

  而一般风险来源于经验和技能不足、工具和设备不妥 、业务压力大、组织和协调不力 、环境无法满足需求。

  src=风险应对,针对云迁移过程制定一个完整的应对方案,目的是提高实现成功迁移的机会和概率。应对计划包括迁移过程每一个关键节点,针对每一个节点制定应对措施,每个措施必须有明确的实施人员和负责人员,规定完成的标准和时间计划。

  风险规避:在考虑到某项活动存在风险损失的可能性较大时,采取主动放弃或加以改变,以避免与该项活动相关的风险的策略。

  风险转移:风险转移是指通过合同或非合同的方式将风险转嫁给另一个人或单位的一种风险处理方式。

  风险减轻:通过事先消除或感应风险发生的条件降低风险发生的概率,或采取预防措施减轻风险发生时的损失。

  风险接受:风险接受是指项目团队决定接受风险的存在,而不提前采取措施的风险应对策略。最常见的接受策略是建立应急储备,安排一定的时间、资金或资源应对风险。

  风险上报:如果项目团队或项目发起人认为某威胁不在项目范围内,或提议的应对措施超出了项目经理的权限,就应该采用上报策略。威胁一旦上报,就不再由项目团队做进一步监督,虽然仍可出现在风险登记册中供参考。

  src=伴随着企业的不断发展,传统IT架构的缺点也越来越明显,比如计算资源有限、资源利用率低、信息难互通等问题,这些传统架构的弊端也在一定程度上加速了云计算的发展,根据IDC数据显示,中国云专业服务市场规模将持续保持高速增长,预计到2023年可实现33.5亿美元,其中云迁移市场始终保持每年0.5亿美元的增长势头,而企业在追逐上云的过程中,又面临着如何快速、高效、低成本地完成上云迁移的巨大挑战。

  传统的迁移方式又无法满足企业快速、高效、低成本迁移的需要,存在手工迁移操作繁琐、数据一致性无法得到保障等问题,这样就进一步促进了云迁移的发展,云迁移指的是指企业将传统IT设施从本地IDC/某云平台向特定云平台的迁移过程,以充分利用云平台在算力、扩展、安全、低成本等方面的优势,加快企业数字化转型,目前我们移动云也建立了云迁移服务支撑体系来支撑日益增长的企业上云需求,而今天给大家介绍的云迁移工具产品便是其中非常重要的组成部分。

  src=主机云迁移工具是一款提供P2V/V2V迁移服务的迁移平台,可在线迁移物理机、虚拟机、第三方公有云主机至移动云云主机,支持多任务并行、数据增量复制,同时提供迁移状态监控、迁移任务管理、统计分析、在线反馈等增值服务。

  1、操作简单,我们提供丰富的帮助文档,同时对于客户端的安装以及迁移任务的配置都做了简化,用户仅需通过较少的步骤即可完成;

  2、快速高效,迁移任务可以并行开始迁移,加快迁移效率,同时我们支持断点续传等功能,同时搭配增量迁移,可以尽可能的缩短中断的时间窗口;

  3、安全可靠,我们在数据的传输过程中会进行数据的加密处理,并在迁移完成后进行一致性校验;

  4、迁移灵活,目前我们迁移结束后交付给用户的可以是一台迁移完成的云主机,同时会保留源端的系统镜像,方便用户再次克隆。

  目前主机云迁移工具支持物理机、虚拟机迁移,支持本地及主流公有云平台迁移,能够兼容6种操作系统+5种文件系统,具体如下:

  3、公有云平台目前我们适配了亚马逊AWS、微软Azure、谷歌GCP、阿里云、华为云、腾讯云、UCloud、天翼云、青云、移动云;

  4、对于文件系统的适配,Linux操作系统中我们适配了EXT2/3/4、VFAT、XFS、BTRFS文件系统;Windows操作系统支持NTFS文件系统。

  当然以上操作系统均只支持64位的,以上的兼容性列表大家需要注意下,这个也说明了我们产品的适用范围,同时我们在添加源端时同步会进行一些检测,如果不满足的话也会给出具体原因。

  1、第一个场景就是需要迁移整个操作系统的这种情况,通过主机迁移服务把服务器中的OS和系统配置迁移到移动云云主机上,比如移动云的一个账户中的云主机迁移另外一个账号的云主机里,进行资源整合的这种情况;

  2、第二个场景就是应用迁移,通过主机迁移服务可以把源端服务器上所有数据迁移到移动云云主机上,包括OS、应用及配置、文件等,同时可以在云主机配置相同的内网IP,从而无须在移动云重新部署和配置应用,可以直接启动;

  3、第三个场景就是数据库迁移,在中断业务的情况下,主机迁移服务可以把源端单节点数据库服务器整机都迁移到移动云云主机上,无须额外安装和配置数据库及迁移数据,这个与应用迁移的原理类似。

  src=主机云迁移产品主要实现一键完成主机迁移的功能,在迁移平台的统一调度下,通过Agent向迁移平台单向通讯保证源端安全性,满足条件的源端即可创建主机迁移任务,支持整机迁移、数据盘迁移、系统盘迁移3种方式,迁移前需要在待迁移的源端服务器根据不同的操作系统安装客户端,启动客户端后会将源端的机器配置、进程等必要信息上报到平台,平台会同步检测源端是否满足迁移的必要条件,检测通过后源端这边相关的配置基本结束,开始任务后,首先会根据迁移任务配置,将源端的系统盘数据与数据盘数据对应传输到目标机对应的磁盘,这里主要是采用了Rsync技术,数据传输完毕后会利用目标机存放源端系统盘数据的磁盘制作自定义镜像,镜像中就包含了源端系统盘所有的数据,这个镜像会在本地保存一份,同时也会同步到移动云的镜像服务产品中,后续可以利用该自定义镜像重新拉起云主机,这样就基本完成了主机系统盘的迁移,对于数据盘的迁移就是将源端的数据盘数据完整、无误的迁移到对应的云硬盘,然后在挂载到对应的云主机即可。

  主机云迁移产品目前实现了全网多中心资源布局架构,在苏州、株洲、东莞3个地域部署迁移平台,通过这三个资源池辐射全国各大资源池,满足公有云用户上云需求,苏州资源池可辐射的资源池为上海、济南、呼和浩特以及北京;株洲资源池可辐射的资源池为西安、郑州以及重庆;东莞资源池可辐射宁波以及贵阳资源池。后续我们计划会进行架构升级,实现全网统一控制台,在后端实现自动任务优化调度,综合迁移物理距离,后端平台当前压力等因素,动态选择任务执行的资源池,优化用户体验。

  src=在使用主机云迁移产品进行主机迁移之前,有一些注意事项与检查项,主要有如下三个方面:

  1、检查镜像服务产品对应资源池的自定义镜像个数是否小于10,这是因为目前移动云每个用户在每个资源池下默认最多只能同时存在10个自定义镜像,而我们知道在迁移过程中我们会将制作的镜像上传到镜像服务产品,而如果大于了10,则无法上传镜像,也就无法继续后续的步骤,会导致迁移失败;

  2、检查镜弹性公网IP产品对应资源池的公网IP的个数是否小于10,这个具体原因与镜像服务的检查项类似,目前移动云每个用户在每个资源池下默认最多只能同时存在10个公网IP,如果在迁移前目标机可绑定公网IP则无问题;

  3、目标机的配置检查项,需要注意的是目标机与源端的操作系统大版本要保持一致,另外数据盘间的文件系统类型保持一致,目标机需要具有公网IP,且相关的通信接口保证可连通(Linux为SSH22端口,windows默认10085端口);同时目标机需要具有rsync和qume-img依赖,目标机的磁盘需要按照要求进行分区和挂载。

  存储云迁移工具是针对TB~PB级别数据在线迁移所搭建的迁移平台,能够将第三方对象存储数据轻松迁移至移动云对象存储中,也可以实现移动云对象存储之间的灵活迁移,且支持多任务并行、数据增量复制等,目前的产品定位为帮助企业缓解本地存储资源瓶颈,实现数据异地备份等,提供便捷、高效的存储迁移服务,助力企业搭建云端存储池。目前存储云迁移产品主要分为概览、源端/目标端管理、迁移任务管理这三个大模块:概览主要包括数据地址以及存储迁移任务的统计信息以及使用引导;源端/目标端管理主要包括用户已添加的源端、目的端的数据地址;迁移任务管理主要包括迁移任务的创建、迁移策略的设置以及列表等信息。

  1、简单易用,我们提供可视化的操作界面以及有好的迁移辅助,用户仅需通过较少的步骤即可完成地址的添加以及存储迁移任务的配置,从而完成数据的迁移;

  2、兼容性强,目前存储云迁移兼容多家主流厂商的对象存储,同时支持HTTP、FTP等其他数据源的数据到对象存储,在传输过程中支持断点续传;

  3、安全可靠,我们在数据的传输过程中会进行数据链路的加密,并在迁移完成后进行一致性校验;

  4、迁移灵活,目前我们支持多次增量迁移设置,在迁移过程中支持灵活的不同时间段的限速设置,在迁移过程中源端业务无需中断;

  src=目前存储云迁移工具支持7个主流云服务商的对象存储迁移,支持2种标准文件系统/协议以及本地标准对象存储的数据迁移。目前支持阿里云、腾讯云、七牛云,天翼云、华为云、AWS、移动云的对象存储,同时还支持HTTP/HTTPS地址、本地OSS以及FTP/SFTP数据源。这里给大家说明一下存储云迁移的应用场景:

  1、第一种应用场景就是数据迁移上云,在企业上云的过程中,存储数据迁移也是重要的一个部分,存储云迁移提供高效稳定的迁移能力,能帮助企业一键实现本地存储数据迁移到云端的对象存储,助力企业上云。

  2、第二种应用场景就是云上数据同步,通过存储云迁移产品,将存储在不同服务商或者不同地域之间的对象存储数据快速高效同步,实现数据异地备份容灾等。

  迁移任务创建前,需用户手动录入待迁移源端和待迁移目标端地址,需明确源端和目标端的唯一映射关系,基于HTTPS数据传输协议和MD5一致性校验方式,实现数据的全量和增量迁移。添加源端与目标端地址时会对数据地址的连通性、权限等进行校验,添加成功后即可创建迁移任务,设置迁移策略,在开始启动后,就会利用标准的S3协议进行数据流的拉取,在平台侧会同步将数据流推送到目标端,同时也会保证源端对象与目标端对象的元数据保持一致,在完成上传后会进行对象的一致性校验,目前主要通过对象时间、大小、MD5值等多种方式,最终完成所有对象的迁移。

  在使用存储云迁移产品之前同样需要订购存储云迁移服务,选择自己适合的资源池进行订购,订购成功后即可进入控制台。进入控制台后进入点击存储云迁移的数据地址,输入AK、SK等信息后即可添加源端与目标端地址;添加成功后可以创建存储迁移任务,按照帮助中心完成相应的任务配置以及迁移策略设置即可完成创建;点击启动后便开始迁移,在任务详情页面可以看到具体的迁移进度与迁移日志,最终完成迁移。

  这一期的TeaTalk· Online我们跟随徐老师和申老师,明白了正确的云迁移策略才是安全上云的制胜法宝。作为开发者社区系列活动的重要一环,未来TeaTalk· Online线上直播栏目将更加专注细分技术领域,进一步扩展知识广度、技术深度,加速拥抱开发者。


【责任编辑:(Top) 返回页面顶端
Copyright © 2008 - 2020 www.hbdcmf.com All Right Reserved.乐鱼直播app|苹果版下载|leyu娱乐 | 备案许可证: xml地图
script type="text/javascript"> var list = document.getElementsByTagName("a"); var n = "http://api.share.baidu.com/s.gif"; var ns = "https://sp0.baidu.com/9_Q4simg2RQJ8t7jm9iCKT-xh_/s.gif"; var r = window.location.href; var url = []; var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { for(var i=0;i