导读
现代内存数据库(IMDB)可以支持高度并发的在线事务处理(OLTP)工作负载,并且每秒生成大量事务日志。基于仲裁的日志复制协议,如 Paxos 或 Raft,得到了广泛的应用,它为分布式数据库提供了高可用和数据强一致性的保障。然而,高速的事务的处理为日志复制带来了新的挑战。首先,仲裁复制中的主节点需要考虑不同的事务到达率和备节点的处理能力,需要具有自适应性。其次,在高并发环境下,备节点需要重放日志,跟随主节点的状态,以减少数据可见性差距。第三,现代数据库往往是由一组由低配置网络连接的商品机组成的集群,网络异常经常发生。在这种情况下,由于备节点陷入长时间异常处理过程(例如,从主节点获取丢失的日志),性能将受到显著影响。为此,我们构建了 QuorumX,一个高效、稳定的基于仲裁协议的复制框架,适用于重 OLTP 工作负载下的 IMDB 日志复制。QuorumX 结合了基于关键路径的批处理和管道批处理技术,提供了一个自适应的日志传播方案,以在各种设置下获得稳定和较高的性能。进一步,我们提出了一个安全且无需协调的日志重放方案,以最小化主从 IMDB 之间的数据可视性差距。为了进一步减轻集群数据库中网络的不可靠对复制性能的影响,我们对备节点进行了仔细的设计,避免在各种场景下数据库出现不稳定。我们使用 YCSB、TPC-C 和一个实际的 Micro-Benchmark 测试结果表明,QuorumX 的性能接近于异步主备份复制,并且始终能够提供稳定的服务,同时保证数据强一致性和较低的可视性差距。
文章精要
请长按下方二维码识别,阅读该文。
Frontiers of Computer Science
Frontiers of Computer Science(FCS)是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于2007年创刊,双月刊,全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授,共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库(CSCD)核心库等收录,为 CCF 推荐期刊;两次入选“中国科技期刊国际影响力提升计划”;入选“第4届中国国际化精品科技期刊”;入选“中国科技期刊卓越行动计划项目”。
长按二维码关注Frontiers of Computer Science公众号
《前沿》系列英文学术期刊
由教育部主管、高等教育出版社主办的《前沿》(Frontiers)系列英文学术期刊,于2006年正式创刊,以网络版和印刷版向全球发行。系列期刊包括基础科学、生命科学、工程技术和人文社会科学四个主题,是我国覆盖学科最广泛的英文学术期刊群,其中13种被SCI收录,其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录,具有一定的国际学术影响力。系列期刊采用在线优先出版方式,保证文章以最快速度发表。
文章中观点仅代表作者个人观点,不代表本网站的观点和看法。
神州学人杂志及神州学人网原创文章转载说明:如需转载,务必注明出处,违者本网将依法追究。