array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助（Microsoft Help Viewer）的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v；报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文（变量对象，作用域链，this）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记：快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习（二）Flotr2，雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树（Expression）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例：事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 PostgreSQL on XFS vs EXT4 性能 - 爱码网

PostgreSQL on XFS vs EXT4 性能

测试环境

系统内存256G。
测试使用了3块PCI-E SSD。




# pvcreate /dev/dfa


# pvcreate /dev/dfb


# pvcreate /dev/dfc


# vgcreate vgdata01 /dev/dfa /dev/dfb /dev/dfc


# lvcreate -i 3 -I 8 -L 4T -n lv01 aliflash


# lvcreate -i 3 -I 8 -L 2G -n lv02 aliflash









系统刷脏页内核参数，如下，尽量避免用户进程刷系统脏页。(系统会自动在超过100MB脏页后开始刷脏页。当脏页超过80%的内存时，用户进程才会刷脏页。)








#sysctl -w vm.dirty_background_bytes=102400000


#sysctl -w vm.dirty_ratio=80






如果不这么设置，EXT4测试时会出现tps=0的阶段，这个时候是用户进程在刷脏页，因为jbd2刷得不够快。





文件系统参数


创建EXT4文件系统，使用条带。








# mkfs.ext4 -b 4096 -E stride=2,stripe-width=6 /dev/mapper/aliflash-lv01


mke2fs 1.41.12 (17-May-2010)


Discarding device blocks: done                            


Filesystem label=


OS type: Linux


Block size=4096 (log=2)


Fragment size=4096 (log=2)


Stride=2 blocks, Stripe width=6 blocks


268443648 inodes, 1073743872 blocks


53687193 blocks (5.00%) reserved for the super user


First data block=0


Maximum filesystem blocks=4294967296


32769 block groups


32768 blocks per group, 32768 fragments per group


8192 inodes per group


Superblock backups stored on blocks: 


        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 


        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 


        102400000, 214990848, 512000000, 550731776, 644972544





Writing inode tables: done                            


Creating journal (32768 blocks): done


Writing superblocks and filesystem accounting information: done





This filesystem will be automatically checked every 31 mounts or


180 days, whichever comes first.  Use tune2fs -c or -i to override.









挂载EXT4文件系统








# mount -o defaults,noatime,nodiratime,discard,nodelalloc,nobarrier /dev/mapper/aliflash-lv01 /data01











创建XFS文件系统，使用条带








# mkfs.xfs -f -b size=4096 -l logdev=/dev/mapper/vgdata01-lv02,size=2136997888,sunit=16 -d agcount=9000,sunit=16,swidth=48 /dev/mapper/vgdata01-lv01 








挂载XFS文件系统








# mount -t xfs -o nobarrier,nolargeio,logbsize=262144,noatime,nodiratime,swalloc,logdev=/dev/mapper/vgdata01-lv02 /dev/mapper/vgdata01-lv01 /data01








初始化数据库








initdb -D $PGDATA -E UTF8 --locale=C -U postgres -W











数据库参数








postgresql.conf


port=1921


max_connections=300


unix_socket_directories='.'


shared_buffers=32GB


maintenance_work_mem=2GB


dynamic_shared_memory_type=posix


bgwriter_delay=10ms


synchronous_commit=off


wal_writer_delay=10ms


max_wal_size=32GB


log_destination='csvlog'


logging_collector=on


log_truncate_on_rotation=on


log_timezone='PRC'


datestyle='iso, mdy'


timezone='PRC'


lc_messages='C'


lc_monetary='C'


lc_numeric='C'


lc_time='C'


default_text_search_config='pg_catalog.english'









初始化对比


初始化测试数据








pgbench -i -s 5000








xfs耗时






500000000 of 500000000 tuples (100%) done (elapsed 451.46 s, remaining 0.00 s)






ext4耗时








500000000 of 500000000 tuples (100%) done (elapsed 552.96 s, remaining 0.00 s)








数据导入时，XFS优势很明显。





tpc-b对比


压测tpc-b








nohup pgbench -M prepared -n -r -P 1 -c 96 -j 96 -T 600 >bench.log &








xfs表现








transaction type: TPC-B (sort of)


scaling factor: 5000


query mode: prepared


number of clients: 96


number of threads: 96


duration: 600 s


number of transactions actually processed: 9461961


latency average: 6.084 ms


latency stddev: 7.949 ms


tps = 15765.874525 (including connections establishing)


tps = 15767.355438 (excluding connections establishing)


statement latencies in milliseconds:


        0.006137        \set nbranches 1 * :scale


        0.002006        \set ntellers 10 * :scale


        0.001501        \set naccounts 100000 * :scale


        0.002635        \setrandom aid 1 :naccounts


        0.001721        \setrandom bid 1 :nbranches


        0.001623        \setrandom tid 1 :ntellers


        0.001666        \setrandom delta -5000 5000


        0.219360        BEGIN;


        2.035715        UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;


        0.243285        SELECT abalance FROM pgbench_accounts WHERE aid = :aid;


        1.167821        UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;


        0.785919        UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;


        0.680847        INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);


        0.916019        END;









ext4表现








transaction type: TPC-B (sort of)


scaling factor: 5000


query mode: prepared


number of clients: 96


number of threads: 96


duration: 600 s


number of transactions actually processed: 7921389


latency average: 7.268 ms


latency stddev: 12.104 ms


tps = 13199.263484 (including connections establishing)


tps = 13200.414903 (excluding connections establishing)


statement latencies in milliseconds:


        0.006100        \set nbranches 1 * :scale


        0.001954        \set ntellers 10 * :scale


        0.001445        \set naccounts 100000 * :scale


        0.002539        \setrandom aid 1 :naccounts


        0.001651        \setrandom bid 1 :nbranches


        0.001567        \setrandom tid 1 :ntellers


        0.001587        \setrandom delta -5000 5000


        0.229331        BEGIN;


        2.515092        UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;


        0.252870        SELECT abalance FROM pgbench_accounts WHERE aid = :aid;


        1.455197        UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;


        0.952964        UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;


        0.817791        INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);


        1.010413        END;









tps性能曲线




PostgreSQL on XFS vs EXT4 性能

 


tpc-b测试xfs性能优势明显。








[小结]


1. xfs性能明显优于EXT4，而且XFS支持更大的块设备，EXT4只能支持到4TB(更大需要PATCH)。


2. XFS还能通过logdev解决cgroup隔离IOPS带来的干扰问题，ext4只能牺牲metadata和data的一致性来解决干扰(data=writeback)。


 
                    
            
                

                  
 
        

	 
        

            

                                            

        

        
相关文章：

        

      
            
 
                    
    
                                                    
  • 
                                 
                                2018-06-08
                            
    • 
                                                        
  • 
                                 
                                2021-08-03
                            
    • 
                                                        
  • 
                                 
                                2019-03-14
                            
    • 
                                                        
  • 
                                 
                                2021-11-02
                            
    • 
                                                        
  • 
                                 
                                2021-12-07
                            
    • 
                                                        
  • 
                                 
                                2021-12-01
                            
    • 
                                                        
  • 
                                 
                                2021-08-03
                            
    • 
                                                        
  • 
                                 
                                2018-10-17
                            
    • 
                                                

               
   
         

    


  






 
          

    
猜你喜欢 

        
    
                                 
  • 
                     
                    2020-12-26
                
    • 
                                     
  • 
                     
                    2021-06-10
                
    • 
                                     
  • 
                     
                    2021-09-17
                
    • 
                                     
  • 
                     
                    2020-06-21
                
    • 
                                     
  • 
                     
                    2021-08-03
                
    • 
                                     
  • 
                     
                    2021-08-03
                
    • 
                                     
  • 
                     
                    2021-08-15
                
    • 
                                     
  • 
                     
                    2018-10-19
                
    • 
                            

   
 



    
相关资源 

        
    
              
                            

   

   
    

     
相似解决方案 

         
    
                          

    

  
   

    

 
   

    
热门标签  

    

                    Java
                        Python
                        linux
                        javascript
                        Mysql
                        C#
                        Docker
                        算法
                        前端
                        SpringBoot
                        Redis
                        Vue
                        spring
                        设计模式
                        .net core
                        .net
                        kubernetes
                        c++
                        数据库
                        数据结构
                        大数据
                        js
                        机器学习
                        微服务
                        Android
                        Go
                        程序员
                        面试
                        JVM
                        ASP.net core
                        云原生
                        人工智能
                        后端
                        PHP
                        git
                        CSS
                        golang
                        k8s
                        Nginx
                        Django
                        mybatis
                        深度学习
                        多线程
                        React
                        架构
                        devops
                        爬虫
                        云计算
                        Spring Boot
                        LeetCode