首先,童家旺介绍了他认为的什么是优化:第一、做任何事情最快的方法就是什么也不做。

如何用分表存储来提高性能 推荐
▲支付宝资深数据库架构师童家旺

  第二、不访问不必要的数据:使用B*Tree/hash等方法定位必要的数据。使用column Store或分表的方式将数据分开存储。使用Bloom filter算法排除空值查询。

  第三、合理的利用硬件来提升访问效率:使用缓存消除对数据的重复访问。使用批量处理来减少磁盘的Seek操作。使用批量处理来减少网络的Round Trip。使用SSD来提升磁盘访问效率。

  响应时间和吞吐量之间的关系

  1、性能。衡量完成特定任务的速度或效率。

  2、响应时间。衡量系统与用户交互式多久能够发出响应。

  3、吞吐量。衡量系统在单位时间里可以完成的任务量。

  如何用分表存储来提高性能 推荐

  ▲反应时间

  如何用分表存储来提高性能 推荐

  ▲传统磁盘的访问特性

  B*Tree优化数据访问介绍

  如何用分表存储来提高性能 推荐

  ▲B*Tree优化数据访问

  B*Tree优化数据访问模拟场景

  如何用分表存储来提高性能 推荐

  ▲B*Tree优化数据访问模拟场景

  童家旺通过阿里巴巴的真实应用场景介绍了如何用分表存储来提高性能。

  一、场景介绍:

  1、表VeryBigTable含有30个列

  2、表的记录数为50,000,000条

  3、平均每个用户为300条左右

  4、其中有2个列属于详细描述字段,平均长度为2k

  5、其它的列的总长度平均为250个字节

  6、此表上的查询有两种模式

  7、列出表中的主要信息(每次20条,不包含详细信息,90%的查询)

  8、查看记录的详细信息(10%的查询)

  9、保存与Oracle数据库,默认block_size(8k)

  二、要求:

  1、对此业务进行优化

  2、分析数据,说服开发部门实施此优化

  三、性能分析

  1、每块记录数

  8192 * 0.80(1) / 250 = 25.5 (主表)

  8192 * 0.80 / 2000 = 3.27(详情表)

  8192 * 0.80 / ( 2000 + 250 ) = 2.91

  2、访问的逻辑IO(内存块访问)

  List的查询代价

  改进后=( 300/25.5 ) * y + 4 + x = 4 + x + 11.8y = 4(2) + 7(3) + 11.8 * 1.5(4) = 28.7

  改进前=( 300/2.91 ) * y + 4 + x = 4 + x + 103.y = 4 + 7 + 103 * 1.5 = 165.5

  3、访问涉及到的物理读(磁盘块访问)

  List的查询代价(逻辑IO * ( 1 – 命中率 ))

  改进后=28.7 * ( 1 – 0.85(5)) = 4.305

  改进前=165.5 * ( 1 – 0.85 ) = 24.825

  4、访问时间(ms)

  改进前=逻辑IO时间+物理IO时间= 28.7 * 0.01(6) + 4.305 * 7(7) = 30.422ms
  改进后=逻辑IO时间+物理IO时间= 165.5 * 0.01 + 24.825 * 7 = 175.43ms

标签:
分表存储,性能

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
千金楼资源网 Copyright www.htabc.com

评论“如何用分表存储来提高性能 推荐”

暂无“如何用分表存储来提高性能 推荐”评论...

《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。

《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。