并发数 tps,并发数 tps 关系
区块链吞吐量什么意思?
接触区块链的朋友经常会听到这样几句话,比特币的tps只有7,以太坊可能稍微好一点,TPS大约在10-20,EOS可以将TPS做到100万等等,这其中的TPS经常用来对比公链的好坏。那什么是TPS呢,专业一点的解释,就是“系统每秒钟能够处理的业务数量”,通俗的定义,就是“系统的吞吐量”。
举个例子:最贴近生活中的例子就是支付宝了,我们日常生活中一般都会用到它。尤其是当双11或者其他购物节的时候,大家都会在零点买很多东西
双11那一天支付宝如临大敌,因为在零点那一刻开始,会有无数消费者会在同一时间进行交易,如果TPS每秒并发太低,很容易造成网络拥堵严重,你的支付可能都不会被确认。
根据有关数据统计,双十一抢购,支付宝全天完成14.8亿笔交易,峰值18万/秒,要远远高于目前EOS的几千。
高并发场景下,如何实现数据库主从同步?
常用方案是数据库读写分离技术。不过既然题主提到了高并发场景,我就来告诉你,event sourcing——事件溯源,eventuate架构就提供,和CQRS——应用层写读分离。再结合kafka这类的消息中间件,或是阿里的c***数据库日志同步解决方案,可以搭建一个完美的高并发事务与实时在线响应系统,当然这种读写分离系统的事务是最终一致性的,题主可自行百度我说的各项技术。如果题主和各位看官觉得有价值,就请点个赞吧
数据主从同步的由来
互联网的很多业务,特别是在高并发的场景下,基本都是读远远大于写,如果数据库读和写的压力都同在一台主机上,这显然不太合理。
于是,把一台数据库主机分为单独的一台写主库(主要负责写操作),而把读的数据库压力分配给读的从库,而且读从库可以变为多台,这就是读写分离的典型场景如下:
为了进一步的降低数据库端的压力(高并发的瓶颈),这个时候也会在业务层部署分布式缓存集群(redis、memcached)等,把读的压力转移给应用服务器端,其实与数据主从的设计是遵循同一个原则,降低后端数据库的压力。
问题:
读写分离提高了***的利用效率的同时也引出了一个问题,就是由于延时(网络传输,操作)而引起的数据库主从不一致的问题,以下会详细谈相关的数据一致性解决方案。
数据同步一致性解决方案
1.半同步复制
办法就是等主从同步完成之后,等主库上的写请求再返回,这就是常说的“半同步***"。
实现方案
mysql的半同步***方案,下面我以mysql为例介绍。
MySQL半同步***
MySQL的Replication默认是一个异步***的过程,从MySQL5.5开始,MySQL以插件的形式支持半同步***,我先谈下异步***,这样可以更好的理解半同步***。
1)异步***
MySQL默认的***是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从库上。
2)半同步***
对于异步***和全同步***之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步***,半同步***提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步***最好在低延时的网络中使用。
半同步***原理:
事务在主库写完binlog后需要从库返回一个已接受,才放回给客户端
mysql5.5版本以后,以插件的形式存在,需要单独安装
确保事务提交后binlog至少传输到一个从库
不保证从库应用完成这个事务的binlog
性能有一定的降低
网络异常或从库宕机,卡主库,直到超时或从库恢复
该方案优点:
该方案缺点:
主库的写请求时延会增长,吞吐量会降低
2.数据库中间件
流程:
1)所有的读写都走数据库中间件,通常情况下,写请求路由到主库,读请求路由到从库
2)记录所有路由到写库的key,在主从同步时间窗口内(***设是500ms),如果有读请求访问中间件,此时有可能从库还是旧数据,就把这个key上的读请求路由到主库。
3)在主从同步时间过完后,对应key的读请求继续路由到从库。
相关的中间件有:
1)c***:是阿里巴巴旗下的一款开源项目,纯Java开发,基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL。
2)otter:也是阿里开源的一个分布式数据库同步系统,尤其是在跨机房数据库同步方面,有很强大的功能。它是基于数据库增量日志解析,实时将数据同步到本机房或跨机房的mysql/oracle数据库。
两者的区别在于:
otter目前嵌入式依赖c***,部署为同一个jvm,目前设计为不产生Relay Log。
otter目前允许自定义同步逻辑,解决各类需求。
该方案优点
能保证绝对一致
该方案缺点:
数据库中间件的成本较高
3.缓存记录写key法
写流程:
1)如果key要发生写操作,记录在cache里,并设置“经验主从同步时间”的cache超时时间,例如500ms
2)然后修改主数据库
读流程:
1)先到缓存里查看,对应key有没有相关数据
2)有相关数据,说明缓存命中,这个key刚发生过写操作,此时需要将请求路由到主库读最新的数据。
3)如果缓存没有命中,说明这个key上近期没有发生过写操作,此时将请求路由到从库,继续读写分离。
该方案优点:
相对数据库中间件,成本较低
该方案缺点:
为了保证“一致性”,引入了一个cache组件,并且读写数据库时都多了缓存操作。
限流是什么参数?
限流指限制数据流量的速率,限流又可以理解为一种流量整形,是一个计算机网络的网络交通管理技术,现多指微博或者抖音等软件或平台里的博主或者其发布内容的阅读量和推送量在一定时间内被限制,以使其热度降低。
限流(Throttling)是一种网络编程技术,用于控制请求流的速度,防止网络拥塞和拒绝服务攻击。它通常涉及到限制请求的数量、频率或大小,以确保网络***的可用性和稳定性。
限流的参数通常包括:
1.请求速率:即单位时间内允许客户端发送的最大请求数量。常见的单位有 ping (每秒脉冲数) 和 rps (每秒请求数)。
2.连接速率:即单位时间内允许服务器接收的最大连接数量。常见的单位有 tps (每秒传输量) 和 uptime (持续时间)。
3.最大连接数:即服务器能够承受的最大并发连接数量。这通常是基于服务器硬件性能设定的。
4.超时时间:即客户端或服务器可以等待的最长时间,超过该时间后连接将被关闭。
5.错误率:即达到指定错误率后,继续发送请求的概率。当错误率达到一定值时,发送请求的概率将降至100%。
[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。转载请注明出处:http://www.pj1663.com/post/1632.html