im即时通讯-社交软件红包技术解密(6):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践

 1.介绍

 

 春节期间,南方企业一直有“取笑老板”的习俗。每年春节后的第一天,腾讯大厦都会排起长队,集体上楼去找老板领取红包。根据广东的习俗,已婚同事也会给未婚同事发红包,腾讯员工会在春茶时间寻找红包。

 

 这催生了一个内部项目,通过支付宝、微信、聊呗、诚信收发红包,将公司所有员工的娱乐活动与最活跃的即时通讯平台支付宝、微信、聊呗、诚信结合起来。起初,这个项目并不打算出国,但在入口被不小心打开后,它成了一个非凡的产品。在2014年,它开始爆炸,年发行量是前一年的几倍。根据腾讯发布的数据,到2016年春节,它已经是一个每秒10万次支付和每天近10亿个订单的系统。

 im即时通讯-社交软件红包技术解密(6):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践

 支付宝、微信、聊呗、诚信红包的本质是用户账户中小额资金的流通,它有三个主要步骤:发送、抢劫和拆除。在这个过程中,对交易有很高的要求,所以订单应该基于传统的关系数据库管理系统,这是它的优势。最终订单存储在互联网行业最常见的MySQL数据库中。支持事务,成熟稳定,我们的团队在MySQL上有长期的技术积累。然而,传统数据库的可扩展性有限,需要通过体系结构来解决。

 

 补充说明:相关语音请参见支付宝、微信、聊呗、诚信红包数据架构演进【附件下载】。

 

 第二,分享者

 

 社交软件红包解密技术(6):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践

 莫晓东:支付宝、微信、聊呗、诚信支付高级DBA,具有丰富的数据架构和运维经验,擅长大规模MySQL数据库集群的架构、优化和高可用性。自2010年起,他在腾讯担任数据库管理员,现在专注于支付宝、微信、聊呗、诚信社交支付的存储层操作和架构优化。

 

 第三,一系列文章

 

 系列文章目录:

 

 

 社交软件红包解密技术(一):全面解密QQ红包的技术方案——架构、技术实现等。

 社交软件红包解密技术(二):支付宝、微信、聊呗、诚信解密摇号红包技术从0到1的演进

 “社交软件红包技术解密(三):支付宝、微信、聊呗、诚信抖红包雨背后的技术细节

 社交软件红包技术解密(4):支付宝、微信、聊呗、诚信红包系统如何应对高并发

 社交软件红包解密技术(五):如何实现支付宝、微信、聊呗、诚信红包系统的高可用性

 社交软件红包解密技术(六):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践(*本文)

 社交软件红包解密技术(七):支付宝红包海量高并发技术实践

 社交软件红包解密技术(八):全面解密微博红包的技术方案

 社交软件红包解密技术(九):谈设计、容灾、运维、架构等。手问春节红包

 社交软件红包解密技术(十):2020年春节红包手q客户端技术实践

 

 其他相关文章:

 

 

 技术的过去:“QQ群”和“支付宝、微信、聊呗、诚信红包”是怎么来的?》

 QQ 18年:解密8亿个月前的QQ后台服务接口隔离技术

 "每月活动8.89亿次的超级即时通讯支付宝、微信、聊呗、诚信如何进行安卓兼容性测试?"

 “开源图书馆:后台框架的基石,支持支付宝、微信、聊呗、诚信8亿用户在一台机器上拥有数百万的连接(源代码下载)”

 "支付宝、微信、聊呗、诚信技术总监谈建筑:支付宝、微信、聊呗、诚信之路——走向简(演讲全文)"

 “支付宝、微信、聊呗、诚信技术总监谈建筑:支付宝、微信、聊呗、诚信之路——走向简(PPT讲座)[附件下载]”

 如何解读《支付宝、微信、聊呗、诚信技术总监谈建筑:支付宝、微信、聊呗、诚信之路——通向简》

 支付宝、微信、聊呗、诚信大用户后台系统存储架构(视频+PPT)[附件下载]

 “支付宝、微信、聊呗、诚信异步转型实践:8亿月度活动和单机连接背后的后台解决方案”

 "支付宝、微信、聊呗、诚信朋友圈海量技术PPT[附件下载]"

 “架构方式:3名程序员在支付宝、微信、聊呗、诚信朋友圈(有视频)中平均每天发布10亿条消息。”

 “快速裂变:见证支付宝、微信、聊呗、诚信强大后台架构从0到1的演变(一)”

 “快速裂变:见证支付宝、微信、聊呗、诚信强大后台架构从0到1 (2)的演变”

 支付宝、微信、聊呗、诚信“红包照片”背后的技术问题

 "支付宝、微信、聊呗、诚信技术共享:支付宝、微信、聊呗、诚信的海量即时聊天信息序列号生成实践(算法原理)"

 "支付宝、微信、聊呗、诚信技术共享:支付宝、微信、聊呗、诚信大规模即时通讯聊天信息序列号生成实践(灾难恢复计划)"

 

 

 4.前端流量控制

 

 分发十亿个红包有什么困难?

 

 

 1)大量用户同时发送红包,每秒钟瞬间产生数万个请求,除夕夜可能达到数百万次;

 2)如果这种数量级的请求直接到达后台而没有整理,它肯定会导致后端服务过载甚至崩溃。

 

 其主要思想是缩短关键业务流程,分离可以通过异步和缓存解决的问题,降低系统压力,加快响应速度,并在存储层前面建立一个屏障。

 

 CGI无状态:

 

 访问层是无状态的,逻辑层是无状态的,因此可以很容易地水平扩展。但它依赖于MySQL事务来确保事务的完整性,确保简化红包系统并减少瓶颈的存在。

 

 静态资源:

 

 使用腾讯强大的基础资源来优化部署,并尝试将动态内容转化为静态资源。静态资源与CGI是分开的。静态资源通过CDN就近访问,减少了用户和CGI之间的交互,减少了内部网、访问延迟和数据请求。

 

 异步业务流程:

 

 支付宝、微信、聊呗、诚信红包的发送、抢夺和拆解背后有很多内部环境。简化了关键流程,非关键流程和后续业务逻辑进入异步队列进行处理,减少了用户的等待时间,大大降低了高峰雪崩的概率。许多非关键的环节不会影响主流程。

 

 过载保护:

 

 

 前端保护后端。如果它可以在前端处理,它将不会传递到后端:

 1)前端需要根据后端能力进行削峰限流;

 2)客户端、接入层和逻辑层逐层控制流量;

 3)前端更容易处理容错,并充分保护存储层。

 

 支付宝、微信、聊呗、诚信过载保护策略已提前嵌入客户端,当连接失败或超时时会给出相应的提示,减少了用户重复请求的次数。接入层限制频繁发送请求的客户端的响应速度,并将系统负载分为几个级别,并在达到不同阈值时引导客户端使用不同的速度限制速率;在异常情况下,异步限流和减速可以减轻服务器端的压力,防止过载。

 

 多级读缓存:

 

 发送一组红色数据包,抓取红色数据包的请求远远大于发送红色数据包。如果你收到了,你可以完全拒绝。逻辑层增加了缓存,所有可以缓存的请求都被缓存,进一步减少了存储层的流量。

 

 订购写缓存:

 

 订单系统中有许多请求不能真正完成整个流程。创建这些废弃订单不仅浪费存储资源,还会挤压逻辑层和数据层的处理能力,影响其他事务。订单可以在付款完成前存放在缓存中,然后在付款完成后保存。

 

 社交软件红包解密技术(6):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践_1.jpg

 

 5.存储层的高可用性设计

 

 随着数百倍的业务增长,存储层很难简单地无限扩展。一方面,设备加倍的成本是巨大的,另一方面,存储层的瓶颈积累可能不能解决问题。

 

 读写分离:

 

 写请求需要在主机上,实时读取也需要在主机上。有大量的查询对延迟不太敏感并且影响性能,这些查询可以放入从机。读写分离策略是MySQL分布式系统的引入,简洁地提高了系统容量。

 

 水平分割:

 

 数据水平分割的本质是将数据库分成表格;选择一个数据表,根据主纬度分割数据。实现存储层的并行扩展。单个数据库机器的负载被有效地降低,并且服务不可用的可能性也被降低。单个数据库的停机只会使一些数据无法访问。主要需要考虑路由规则的选择,以促进容量的扩展和收缩以及数据的均衡分布。

 

 垂直分割:

 

 除了水平分段,行中的数据还可以通过属性进一步分隔。核心表中只保留最关键的字段,以确保数据文件简短紧凑。以红包为例,昵称、问候语等长信息不属于核心数据,可以分割到其他机器上,进一步增强核心数据库的容量。不同的数据适合不同的存储类型。这种高重复率的长串更适合NoSQL存储,大大节省了存储空间和性能。

 

 时间的空间:

 

 根据不同的维度组织表格,如订单属性和用户属性;适应不同的请求场景,避免复杂的查询。不同维度的表可以通过协调来对齐,非核心表可以适当冗余,以减少多个请求。

 

 锁的优化:

 

 许多人争夺红包,这是由数据库保证的,并且必须有竞争MySQL行锁。核心内容必须尽可能简洁,以免陷入僵局。对于相同顺序的所有请求,在逻辑层进程被预先排队后,尝试通过一个连接将请求发送到数据库。

 

 冷热分离:

 

 核心数据库存储高频数据,其他数据可以低成本地定期移动到冷数据库。这样,最好的固态硬盘设备可以用于核心数据库,而快速设备容量又小又贵,因此不可能在全部数据上使用它。同时,它可以确保数据表的容量不会一直累积,大型表也会导致性能下降。

 

 社交软件红包解密技术(6):支付宝、微信、聊呗、诚信红包系统存储层架构的演进实践_2.jpg

 

 6.多住在不同的地方

 

 当系统足够大时,有必要考虑异地部署的问题,以使数据尽可能接近用户。此外,进一步的高可用性不能局限于同一地区,必须跨数据中心和城市生活,以抵御系统风险。由于城市间的延迟长达数十毫秒,支付宝、微信、聊呗、诚信红包的远程活动被设计成多个数据中心相互独立。非灾难灰度不会在线从其他数据中心导入数据。

 

 附近通道:

 

 以支付宝、微信、聊呗、诚信红包系统的异步部署为例,第一个优势是用户可以就近访问,减少了跨城市的流量。根据发送方的区域标志数据登陆到不同的数据中心,实现不同区域的业务闭环。

 

 数据分离:

 

 由于当前网络技术的限制,使用光纤不能保证跨城市数据的同步延迟。因此,支付宝、微信、聊呗、诚信红包跨城市数据中心不能实时同步数据。不同的区域承载着商业交通,这在地理上是平衡的。不同区域的订单数据独立存储。

 

 不同地方的容灾能力:

 

 在区域性故障的情况下,我们需要一种机制来确保服务的可用性。使用异步部署,如果深圳出现系统故障,我们可以直接将请求连接到上海。每个数据中心都是独立部署的,如果某个系统达到最大容量,它可以跨区域转移。

 

 7.服务损失和灵活降级

 

 我们遇到的最常见的问题是大量的请求。根据CAP理论,要通过分布式系统实现大规模请求,一致性和高可用性不能同时得到保证,因此必须进行权衡。我们首先保证可用性,同时实现最终的一致性。有以下原则。

 

 有损服务:

 

 为了追求高可用性,可以牺牲一些数据的一致性和完整性来确保核心功能。在一定资源的前提下,满足用户的核心需求。支付宝、微信、聊呗、诚信红包的核心是攫取和拆解红包。系统必须确保核心步骤尽可能平滑,但当出现瓶颈时会立即降级,以防止系统崩溃。然而,为了确保数据最终能够对齐,财务属性的系统数据安全性是很困难的。

 

 灵活可用:

 

 灵活可用性是一种受有害服务价值支持的方法,它结合特定场景提供不同级别的用户体验,以确保尽可能成功地返回关键数据。把握每个场景中用户的核心需求,设计满足不同层次核心需求的方式。系统必须首先实现容灾和自动切换;第二,逻辑资源应该被隔离;当服务过载时,它必须被自动和快速地拒绝。

 

 8.结束语

 

 本文简要介绍了支付宝、微信、聊呗、诚信红包存储层服务的设计准则。在企业从起步到腾飞的过程中,其背后巨大的服务能力将对其最终的成败产生深远的影响。在互联网的爆炸式增长中,大众服务的能力决定了项目的成败,因此有必要在项目的早期阶段为大众服务做好准备。

 

 




热门搜索:

什么是私有云?  私有云、公有云还是混合云?企业该如何选?  企业聊天APP有什么作用,可以带来哪些便利?  企业选择混合云的优势  聊天APP应该具备哪些功能?怎么确保信息不被泄露?   企业即时通讯的使用价值有哪些   企业IM是什么,有什么使用优势?  JM沟通优势有哪些,安全性怎么样?  JM沟通APP功能强大且安全性高  IM云系统即时通讯公有云、私有云、企业云、海外云-哇谷IM团队  对于IM即时通讯的性能与并发性问题xmpp等各种通信协议  sso登录统一账号体系和集中认证授权  MongoDB数据库百万并发设计使用方法  WebRTC视频会议服务器性能10万并发  办公协同解决方案的意义 有什么优势?  美国FBI遭黑客攻击 超10万人收到垃圾邮件!这家零佣金券商也被攻击 用户数据泄露-企业即时通讯安全  工作台支持私有化部署-企业办公通信管理-软件开发管理系统-哇谷云  Application scenarios of wagu im cloud service  A typical IM architecture might look like this  哇谷IM实现原理讲解-哇谷IM即时通讯云  JM沟通功能图片演示-哇谷IM即时通讯云  硬件配置选择-哇谷IM即时通讯云  IM私有化价格服务系统-哇谷IM即时通讯云  哇谷云服务项目表  哇谷IM定制私有化搭建资料准备工单-哇谷IM即时通讯云   APP中红包功能技术最常见的形式-哇谷im即时通讯云  私有云、公有云还是混合云?企业该如何选?  租用海外云服务器时应注意的事项   私有云比起公有云安全性大大提高   哇谷云服务应用场景十分丰富多元  聊天APP功能强大 用户群体越来越广泛  企业打造私有云平台需要注意的几点  企业聊天办公软件如何挑选,需要具备哪些功能?  IM的作用可不只是单纯的聊天工具  企业使用即时通讯的好处有哪些?  企业通讯常见的困扰:有什么办法提高通讯质量?  聊天APP应该具备哪些功能?怎么确保信息不被泄露?  语音会议软件越来越多:到底哪个软件适合开会?  使用手机能否召开视频会议?哪些软件值得选择?  JM沟通与传统通讯软件有何区别?是否只能用于社交?  语音会议效果难以保障 你有准备专业会议软件吗  专业企业通讯软件功能齐全 让办公变得更加轻松快捷  业应不应该开发聊天APP 三个不容拒绝的理由  企业通讯软件如何选择 隐私保护终于一切  视频会议没有专用软件 很多事情都无法处理  哪些是常用的微服务框架?  企业如何搭建私有云?  即时通讯软件是否具有聊天回执的功能?  企业即时通讯软件支持多设备登陆吗?  企业即时通讯适合中小企业的即时通讯软件?  盘点全球几大即时通讯软件  介绍两款国外大佬级别的即时通讯APP  Short video features  即时通讯短视频功能的基本特点主要有哪些  Features of chat function  聊天功能在即时通讯软件中的产品特色体现在哪里  Increase the function of red envelope  为什么在即时通讯软件中会增加红包功能  instant messaging  即时通讯  办私密软件公  Office privacy software  Cloud service  云服务  Im definition  IM定义  How to meet office requirements   Main features of instant messaging  即时通讯云软件应该如何达到集团办公的需求  企业即时通讯软件设计的特点主要有哪些  Instant messaging cloud red packet   福利发送新办法,IM即时通讯云红包功能的大势所趋  LAN communication   区域网通讯可以促进企业发展,使信息传输更快捷  Production guide of enterprise specific app  企业专属聊天APP的生产指南,这里应有尽有!  Waguyun privacy protection  企业通讯无法得到私密保障?哇谷云上办公为您提供专业服务!  Choose Wawa Guyun for internal communication  企业内部交流怎么办?现在有了哇谷云!    Advantages of LAN   局域网通讯企业真的需要吗?它有哪些优点?  Enterprise instant messaging voice conference app  新发展、新机遇 全球疫情下的企业即时通讯语音会议  Provide efficient enterprise communication  专业呼叫中心 提供高效企业通信解决方案  New layout of global economic integration  协同办公解决方案,全球一体化经济新布局  There is more than one way for IM tools  还在使用微信?IM工具不止有一条途径  Power source for efficient operation  选择办公协同解决方案,现代企业高效运转的动力源  Efficient enterprise specific instant messaging  企业聊天APP,私密度高的高效企业专属即时通讯APP  新一代私有云与早期私有云的区别  The difference between private clouds  What are the advantages of private cloud   新一代私有云有哪些优势?   单聊功能   群聊功能红包功能源码   实时音视频     短视频   音视频会议源码   低延迟直播  哇谷IM云服务  IM私有化搭建源码  私有化搭建准备文件   TF签名知识  企业即时通讯   IM 即时通讯   IM定制功能  语音聊天室   在线教育  金融服务  sso单点登录系统  政府加密沟通  企业通信办公   KTV点唱系统  局域网通讯  知识库   企业即时通讯  sso单点登录系统  KTV点唱系统版本Demo   JM沟通2.0版本Demo  哇谷IM企业办公版本  哇谷工作台   短视频源码   音视频会议源码   直播聊天源码  ios超级签名服务   哇谷云     哇谷科技    即时通讯     IM下载    IM功能与价格    


     


IM下载http://www.juemigoutong.com/webproduct.html

IM功能与价格http://www.juemigoutong.com/webcooperation.html

哇谷IM团队,哇谷即时通讯,哇谷官方站

www.wagukeji.com www.juemigoutong.com www.wagu.cloud bolg.wagu.cloud



----------------------------------------------------------------------------------

哇谷im_im即时通讯_私有云_公有云-哇谷云科技官网-JM沟通

IM下载体验 - 哇谷IM-企业云办公IM即时聊天社交系统-JM 沟通下载

IM功能与价格 - 哇谷IM-提供即时通讯IM开发-APP搭建私有化-公有云-私有化云-海外云搭建

新闻动态 - 哇谷IM-即时通讯热门动态博客聊天JM沟通APP

哇谷IM-JM沟通热门动态博客短视频娱乐生活

关于哇谷-哇谷IM-提供企业即时通讯IM开发-语音通话-APP搭建私有化-公有云-私有化云-海外云搭建

联系我们 - 哇谷IM-即时通讯IM私有化搭建提供接口与SDK及哇谷云服务

即时通讯IM融云世界

IM即时通讯钉钉技术:企业IM钉钉在后端架构上的优越之处

新的市场叫板环信、融云、腾讯云!开源版IM即使聊天工具

企业IM即时通讯聊天办公APP钉钉技术分析交流

哇谷云-怎么样正确认识海外云服务器

公有云和私有云之间有什么区别?类似融云、环信云、网易云、哇谷云?