PostgreSQL分区表的性能损耗验证
发布时间:2020-12-13 17:16:48 所属栏目:百科 来源:网络整理
导读:分类: Mysql/postgreSQL 今年的PG用户大会,华为的许中清分享了《PostgreSQL表分区实践》(当时我在另一个会场)。其中最后一页的测试结果表明,100分区的继承分区表的查询更新删除比不分区的普通表慢了2个数量级。虽然PG的手册中也说: 主表的所有分区的所
分类:
Mysql/postgreSQL
今年的PG用户大会,华为的许中清分享了《PostgreSQL表分区实践》(当时我在另一个会场)。其中最后一页的测试结果表明,100分区的继承分区表的查询更新删除比不分区的普通表慢了2个数量级。虽然PG的手册中也说:
主表的所有分区的所有约束在约束排除中被审查,所以大量的分区将大大增加查询规划时间。 分区使用这些技术或许可以将分区提升到一百个且能很好的工作; 不要试图使用成千上万的分区。 摘自:http://58.58.27.50:8079/doc/html/9.3.1_zh/ddl-partitioning.html#DDL-PARTITIONING-CONSTRAINT-EXCLUSION 但是否真慢到这种程度心中还是存了疑问,故测试验证之。 1.PG的分区表概述先建立一个小的分区表,简单看看分区表相关的操作。PG的分区表是通过继承实现的,下面建一个有5个分区的分区表。
往父表插入的数据通过触发器被分发到了子表上 tmpdb=#insertintomaintbvalues(1'abcde12345';
对父表的查询更新和删除操作,PG会根据where条件和子表的CHECK约束条件分发到相应的子表上(这称为约束排除,详见PG手册)。 #explainfrommaintbwhereid=2;
由于表中的数据量太小,所以上面的执行计划里没有用索引扫描。 如果试图更新分区键,把记录从一个分区更新到另一个分区。对不起,PG会报CHECK约束违法的错误。 setid=300=1;
所以分区键是不能随便更新的,如果非要更新,只能先删后插。 PG如果无法确定要操作哪个或哪些子表,就要在所有子表上都执行一遍。 +1-------------------------------------------------------------------
废话讲完,下面开始测试。 2.测试环境测试环境为个人PC上的VMware虚拟机
|
id范围 | SQL | 分区数 | ||||
0 | 1 | 10 | 100 | 1000 | ||
1~10000000 | insert into maintb values(:id,'abcd12345'); | 0.34568 | 0.809927 | 0.910337 | 0.967627 | 4.190777 |
select * from maintb where id=:id; | 0.14852 | 0.789401 | 0.90642 | 2.091848 | 38.66256 | |
update maintb set name = 'aaaaa12345' where id=:id; | 0.48688 | 1.17653 | 1.493839 | 6.046276 | 598.335 | |
delete from maintb where id=:id; | 0.43789 | 1.110788 | 1.235515 | 5.861994 | 589.4893 | |
1~10000 | insert into maintb values(:id,'abcd12345'); | 0.26089 | 0.288702 | 0.297765 | 0.295104 | 0.313431 |
select * from maintb where id=:id; | 0.07621 | 0.109531 | 0.208925 | 1.237369 | 31.09006 | |
update maintb set name = 'aaaaa12345' where id=:id; | 0.20382 | 0.378703 | 0.568731 | 5.161718 | 590.0673 | |
delete from maintb where id=:id; | 0.13484 | 0.264828 | 0.464408 | 5.006479 | 586.6543 |
10个并发(单位毫秒)
id范围 | SQL | 分区数 | ||||
0 | 1 | 10 | 100 | 1000 | ||
1~10000000 | insert into maintb values(:id,'abcd12345'); | 1.14853 | 1.563754 | 1.661851 | 2.385968 | 10.7074 |
select * from maintb where id=:id; | 0.5432 | 1.274031 | 1.524999 | 5.950416 | 111.1581 | |
update maintb set name = 'aaaaa12345' where id=:id; | 1.50849 | 2.740678 | 3.094661 | 23.89209 | 出错(*3) | |
delete from maintb where id=:id; | 1.59584 | 1.80079 | 2.727167 | 22.79166 | 出错(*3) | |
1~10000 | insert into maintb values(:id,'abcd12345'); | 0.6038 | 0.779655 | 0.673587 | 0.662618 | 0.789707 |
select * from maintb where id=:id; | 0.22318 | 0.316221 | 0.597139 | 4.822255 | 117.1621 | |
update maintb set name = 'aaaaa12345' where id=:id; | 0.85966 | 0.959858 | 1.739188 | 20.3759 | 出错(*3) | |
delete from maintb where id=:id; | 0.29249 | 0.407228 | 1.158087 | 20.18293 | 出错(*3) |
100个并发(单位毫秒)
id范围 | SQL | 分区数 | ||||
0 | 1 | 10 | 100 | 1000 | ||
1~10000000 | insert into maintb values(:id,'abcd12345'); | 6.77161 | 9.762775 | 11.93486 | 21.35377 | 1037.091 |
select * from maintb where id=:id; | 9.01432 | 10.91613 | 17.37906 | 87.52062 | 5919.649(*2) | |
update maintb set name = 'aaaaa12345' where id=:id; | 16.0372 | 21.10411 | 29.61658 | 380.3574 | 出错(*3) | |
delete from maintb where id=:id; | 11.3606 | 13.64317 | 28.92108 | 345.2502 | 出错(*3) | |
1~10000 | insert into maintb values(:id,'abcd12345'); | 5.12748 | 6.519101 | 6.270275 | 6.555714 | 8.49643 |
select * from maintb where id=:id; | 2.40127(*1) | 3.226115 | 6.332551 | 71.98606 | 6258.338(*2) | |
update maintb set name = 'aaaaa12345' where id=:id; | 2.40123(*1) |
8.497982 | 15.57208 | 368.961 | (*3) | |
delete from maintb where id=:id; | 2.79931 | 3.985874 | 11.96576 | 289.3604 | 出错(*3) |
*1)在db0上以 100个并发连起来执行小范围的select和update时,有时会发生死锁。
aa.sql:
export jobs=100
export db=db0
pgbench-c $jobs-j $jobs-f select_smallrange.sql $db|tail|awk'{print $1}'
pgbench-f update_smallrange'{print $1}'
-bash-4.1$ export jobs=100
-bash-4.1$ export db=db0
-bash-4.1$ sh aa.sql 2.368792
Client 57 aborted in state 1: 错误: 检测到死锁
DETAIL: 进程14436等待在事务 3145678上的ShareLock; 由进程14470阻塞.
进程14470等待在事务 3146294上的ShareLock; 由进程14436阻塞.
HINT: 详细信息请查看服务器日志.
7.002670
奇怪的是2个pgbench命令分开单独执行不发生过问题。有点怀疑执行update_smallrange.sql时,select_smallrange.sql并没有完全结束,但把-T改成-t依然可能发生,把update和insert放到同一个sql脚本中反而不发生。
-bash-4.1$ export db=db0
-bash-4.1$ sh aa.sql
Client 57 aborted in state 1: 错误: 检测到死锁
DETAIL: 进程14436等待在事务 3145678上的ShareLock; 由进程14470阻塞.
进程14470等待在事务 3146294上的ShareLock; 由进程14436阻塞.
HINT: 详细信息请查看服务器日志.
7.002670
*2) 在db1000上以 100个并发执行select会遭遇资源限制的错误。
出错消息1:
Client 77 abortedinstate 1:错误:共享内存用尽
HINT:您可能需要增加参数max_locks_per_transaction.
警告:共享内存用尽
出错消息2:
Client 31 aborted:无法打开文件"base/25376/30776":Too many open filesinsystem
根据消息提示修改postgresql.conf的配置后可以成功执行。
max_locks_per_transaction=64
max_files_per_process = 1000
==》
max_locks_per_transaction=1100
max_files_per_process = 500
*3) 在db1000上以10和 100个并发 执行update,delete老是报错,未能成功。
出错消息:
警告:中断联接
DETAIL:Postmaster 命令此服务器进程回滚当前事物并退出.
HINT:一会儿你将可以重联接数据库并且重复你的命令.
5.性能分析
插入慢是由于触发器,而且慢的也不算太多,顶多慢2到3倍。有异常的数据是在100并发时往有1000个分区的父表中插入数据,比不分区慢了100多倍。这应该是由于数据被随机写到1000个不同的子表文件中,导致IO的响应很慢。查询更新和删除慢,是由于查询规划慢,大部分时间都耗在查询规划上,而且分区数越多,慢的越离谱。
点击(此处)折叠或打开
db1000=10000UPDATE9
Time:610.774 ms
db1000;
QUERY PLAN
-----------------------------------------------------------------------------------
.44.73=12 width)
)
Filter>Bitmap Heap Scan=4=11 width)
Recheck Cond>BitmapIndexScanonchildtb_idx_1IndexCond(7:661.814 ms
6.总结
1,正如PG手册上说的, 成千上万的分区是不太靠谱的。(不论是性能还是稳定性)2,和许中清他们的测试结果一样,100个分区时,单条记录的select,update和delete操作的执行时间比不分区要慢2个数量级。
3,华为的原生分区方案确实不错,社区版也能提供这个功能就好了。
4,解决PG的继承表在分区较多时执行规划耗时的问题,除了在分区本身上下功夫,还可以通过缓存 执行计划达到目的。可惜目前PG的执行计划cache比较弱,很难满足分区表的场景(关于这一点准备之后再写一篇文章详细说明一下)。
5,不要被上面的测试结果吓到,对典型的OLAP复杂查询来说,这点 执行规划耗时根本不值得注意,反而处理的总数据量少了,执行性能会大大提升。
6,对OLTP应用则要仔细斟酌一下要不要分区,分多少个区了?显然分区数不宜超过100个,如果业务是按时间分区,历史数据分区尽量合并减少分区数。
7.参考
http://58.58.27.50:8079/doc/html/9.3.1_zh/ddl-partitioning.html http://wenku.it168.com/d_001578048.shtml http://beigang.iteye.com/blog/1884415
(编辑:李大同)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!