MySQL每秒57万的写入,带你飞~

  • 时间:
  • 浏览:2
  • 来源:彩神官网

三、XeLabs TokuDB介绍

原文发布时间为:2018-11-21



有有一个多大伙儿接到有有一个多需求,从大数据平台收到有有一个多数据写入在20亿+,需用快速地加载到MySQL中,供第五六天业务展示使用。

计算一下每秒写入传输速率:

关于TokuDB Bulk Loader :

本文来自云栖社区合作方式方式伙伴“Java后端技术”,了解相关信息都并能关注“Java后端技术”。



关于TokuDB Bulk Loader前提要求,这人 表是空表,对于自增列,如自增列有值的具体情况下,也都并能使用。 建议实际使用中,但会 自增列有值的具体情况下,都并能考虑去除自增属性,改成唯一索引,另有有一个多减少自增的但会 解决逻辑,让TokuDB能跑地变快但会 。 另外在Bulk Loader解决中为了追求变快速的写入,压缩方面并都有很好。

四、测试表

TokuDB核心配置:

文件大小:

文件大小在5倍大小的区别。



对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没哪几种经验,但对于InnoDB单表Insert 但会 内存大于数据具体情况下,都并能维持在30万-30万行写入。 但太满太满时间大伙儿接受的项目还是数据超过内存的。 这里使用XeLabs TokuDB做有有一个多测

测试使用CentOS7环境,编译的XeLabs TokuDB版本百度云地址:

同样的数据写入在主键自增无值产生时,只有使用TokuDB的 Bulk loader data社会形态,合适 转换为了单条的Insert实现,太满太满效果上慢太满。

https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader

 ●  引入更多的内置的TokuDB性能指标; ●  支持Xtrabackup备份; ●  引入ZSTD压缩算法;

 ●  支持TokuDB的binlog_group_commit社会形态;

测试结论:

利用load data写入数据:

相对官方TokuDB的优化:

五、测试环境说明

表社会形态:

项目地址: https://github.com/XeLabs/tokudb



一、需求

二、实现再分析

https://pan.baidu.com/s/1qYRyH3I 。



另外测试几种场景也供大伙儿参考: 但会 在TokuDB中使用带自增的主键,主键无值让MySQL内部内部结构产生写入传输速率,下降比较明显,同样写入2亿数据,富含自建主键:

本文作者:吴炳锡



利用TokuDB在某云环境中8核8G内存,30G高速云盘环境,多次测试都并能轻松实现530万每秒的写入量。

实际文件8.5G,写入TokuDB大小3.5G,但会 我接近于一半多点的压缩量。 对于20亿数据写入,实际测试在58分钟多点就都并能完成。都并能满足实际需求,另外对于磁盘IO比较好的机器(SSD类盘,云上的云盘),但会 内存和数据差太满具体情况,这量级数据量测试在Innodb里需用加在自增列,都并能在有一个小多但会 完成。 从最佳实战上来看,Innodb和TokuDB都写入同样的数据,InnoDB需用花合适 是TokuDB3-4倍时间。文件大小区别,同样20亿数据:

猜你喜欢

下列伟大人物属于意大利的是:牛顿、但丁、伏尔泰、

你对你你这名 回答的评价是?可选中两个 或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个大大问题。牛顿是英国人使用百度知道APP,立即抢鲜体验。你的手机镜头

2020-02-22

JavaWeb项目架构之NFS文件服务器

当用户A通过互联网上传文件时,经过负载均衡,随机可能定向分配到某个节点。日后当用户B去下载你这个文件的日后,并不选着会向哪个节点发送请求,那我会原应 用户趋于稳定一定几率下载并

2020-02-22

《家》的章节概括(每章200字左右)

作品在揭露其他封建家庭罪恶的同時 ,还侧重表现了封建制度、封建礼教对青年一代的摧残和迫害。觉新和梅本是青梅竹马、真诚相爱的一对恋人,也不机会双方母亲在牌桌上有了摩擦,就儿戏般

2020-02-22

既生synchronized,何生volatile

1、Java语言为了正确处理并发编程中处于的原子性、可见性和有序性问提图片,提供了一系列和并发正确处理相关的关键字,比如synchronized、volatile、final、

2020-02-22

别人都说鬼泣2在鬼泣4的时间之后,但感觉鬼泣4的但丁比鬼泣2的要老点啊

可选中4个或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个什么的问题。收起更多回答(1)很重推荐扫描二维码下载你对这个回答的评价是?鬼泣2结尾但丁都被设定成“貌

2020-02-21