论分布式设计
20250419-作
题目
分布式是指将一个系统或任务分解成多个子部分,并在多个计算机或服务器之间进行协同工作的方式。每个子部分都可以在不同的计算机节点上运行,彼此之间通过网络进行通信和协调。分布式技术在当今互联网应用中起着重要作用,例如大规模搜索引擎、社交网络和电子商务平台等。常见的分布式系统包括分布式数据库、分布式存储系统、分布式计算系统等。这些系统通过将数据、计算和功能分散到多个节点上,可以提供更高的性能、可伸缩性和容错性。分布式系统的设计和实现需要解决一系列挑战,例如节点之间的通信和同步、数据一致性的维护、负载均衡、故障恢复等。为了解决这些挑战,通常会使用一些分布式算法和协议,如一致性哈希、Paxos、Raft等。
请围绕“论分布式设计与实现”论题,依次从以下三个方面进行论述。
① 概要叙述你参与管理和开发的软件项目以及你在其中承担的主要工作。
② 请阐述你参与的项目使用了哪些分布式技术,它们的特点是什么?
③ 请结合项目实际,具体阐述你在项目中分布式技术的实践,以及在实施过程中遇到的问题及解决方案。
摘要
某省预约挂号系统以下简称预约挂号系统,是我司自主研发专门为患者提供一站式、便捷化的医疗服务,该服务集众多功能与一体,旨为提高医疗服务质量和患者体验。随着用户量的逐年攀升,系统面临着性能瓶颈和可用性的挑战,严重阻碍了系统服务质量的进一步提升,为了让系统能持续稳定的运行,我司于2023年3月决定对预约挂号系统进行全面升级工作,计划一年,投资800万,我担任系统架构设计师,主要工作是架构的整体设计。为了提高系统性能和可用性,我们采用了分布式技术,通过反向代理、负载均衡、微服务、分布式缓存、分布式数据库和分库分表技术,显著的提高了系统性能和可用性等核心问题,受到领导和组员的高度认可。
背景
随着信息化时代的到来,各大医院纷纷拥抱线上系统,我司也顺应时代的潮流开发了一款医疗系统,该系统集预约挂号、体检预约、报告查询和名医抢号等核心功能于一体,旨提高医疗服务质量和患者体验,为患者提供一站式、便捷化医疗服务。随着用户基数的持续增长,系统面临着性能瓶颈和可用性的严峻挑战,严重阻碍了服务质量的进一步提升,为了让系统持续稳定的运行下去,我司决定2023年3月对预约挂号系统进行全面升级工作,我担任系统架构设计师,主要工作涵盖了系统架构的整体设计、技术栈精准选型和各个核心阶段的评审工作。为了提高系统的性能和可用性,我们采用了分布式技术,使用反向代理和负载均衡提高系统的资源利用率和持续性,使用微服务提高系统可维护性和扩展性,使用分布式缓存提高系统查询数据的性能和可用性,使用分布式数据和分库分表提高系统的性能和数据的安全性等,完成了系统升级,显著的提高了系统的性能和可用性,且系统平稳运行至今。
理论
分布式技术中提供多种技术,接下来描述几种技术和特点。
1.反向代理和负载均衡。1)反向代理特点:统一访问入口、代理服务器等,通过开放端口对外提供服务,并请求后端服务器。2)负载均衡技术特点有,提高服务器的利用率、持续性,通过请求策略访问服务器集群提高利用率,单节点故障,切换其他正常节点继续提供服务。
2.微服务。该技术特点有:轻量级通信、独立性和服务专一性。1)模块间采用HTTP协议的轻量级通信方式。2)模块间独立设计使模块的变动影响范围缩小到相邻的节点。3)服务专一性,服务只专注业务内的功能。
3.分布式缓存。该技术特点有:高性能和安全性。1)分布式缓存使用内存存储数据,对于系统的查询数据速度较磁盘快。2)数据分布在不同的节点,单个节点当机可使用其他节点备份恢复。
4.分布式数据库和分库分表。1)分布式数据库有高可用性等特点,数据存储在不同节点,单节点故障可以灵活切换节点持续提供服务。2)分库分表技术有高性能等特点,可以通过垂直或水平分割,划分热点数据,提高数据的IO处理能力。
实践
预约挂号系统开发之初使用的单体架构,业务耦合性很高,且有单点故障、系统处理压力大等问题,所以我们采用了分布式的技术,使用反向代理、负载均衡、微服务、分布式缓存、分布式数据和分库分表等技术来设计架构,接下来描述一下在预约挂号系统升级中的应用。
1.反向代理和负载均衡。在系统复用设计阶段,我们参考了老系统的结构,使用Nginx作为系统的反向代理和负载均衡组件,该组件是我见过最稳定组件之一,又因为老系统中在Nginx的反向代理中编写了防黄牛抢票脚本,所以很适合复用到新系统中,节省开发成本。Nginx负载均衡策略有轮询、随机、权重三种策略,我们选择了根据权重的方式请求后端服务,当节点发生异常,自动切换到正常节点访问,提高系统的持续性。
2.微服务。在分析时期,我们把预约挂号整个业务划分成了机构、用户、订单、支付和三方医院等服务。在设计时期,我们选择了微服务策略,分别从几个方面设计服务。1)独立性方面,采用小团队开发模式,每个服务对应一个主团队和一个备团队,根据不同业务对应不同技术,主要使用SSM框架。2)业务量方面,针对访问量较高的机构和订单服务,我们采用自动伸缩的方式来缓解服务器的压力,使用Docker部署各个微服务并管理伸缩。3)交互方面,内网采用轻量级的HTTP协议沟通方式,外网采用HTTPS的安全请求方式等等。
3.分布式缓存。对于高频访问的数据我们决定使用分布式缓存技术,把缓存数据存储在不同的区域,提高系统的性能和可用性。例如:机构服务的医院、科室、医生等,我们采用ES搜索引擎的专用存储方式,提高医院、科室和医生检索效率。医生号源我们采用Redis存储,当处于抢号时段时,直接与redis交互,号源信息通过异步的消息队列同步到数据库中。
4.分布式数据和分库分表。数据层的设计,我们采用分布式的数据库存储方式,分别存储在不同云和地点的节点上,即时某云或地点异常,也可秒级切换使用其他云和地点的数据继续提供服务。我们使用代理组件Cobar,服务直接与代理组件交互,使应用和分布式数据库解耦,同时解决了分片透明性问题。我们还对数据库应用了分库分表技术,根据分析和设计时期对业务划分多个微服务,数据库也根据业务划分成了多个数据库分别与微服务对应,各个服务和数据库之间相互独立,对于表中热门的数据,我们根据属性划分在同一张表中减少连表查询的性能消耗。
结尾
经过一年的精打细磨,在2024年3月初正式上线,得益于分布式技术的应用,系统轻松应对抢号时期的万级请求量和高并发所需的资源问题,目前用户已经突破千万,且完成了11个市的500多家医院的深度对接,得到了组员的赞誉和领导的高度认可。然而,在开发之初,有组员对分布式技术的理解存在偏差,严重阻碍了系统进度的推进,我们针对这一问题快速行动,通过组间人员的灵活调配完美解决这一短板。接下来,我们准备对老系统中的数据进行迁移工作,经过了此次项目升级,我们对迁移工作充满信心,并将以更高的态度和标准完成此次迁移工作。这次分布式技术的成功实施,使我学到了很多技术和经验,我也会更加努力让自己在架构师之路上走的更远。
总结:
1.写作点控制在3/4个。
2.分析写出来的特点,实践部分跟着描述。