巧用DBA_HIST_EVENT_HISTOGRAM定位GPFS写缓慢问题

最新推荐文章于 2024-08-02 00:50:16 发布
转载 最新推荐文章于 2024-08-02 00:50:16 发布 · 660 阅读 · 1
本文分析了8月份批量文件生成缓慢的问题，通过查询SQL执行计划及会话等待事件，定位到GPFS上的文件写入操作为性能瓶颈，并通过对比本地文件系统与GPFS文件系统的写入测试进一步确认问题所在。

1问题

   9月1日接监控告警，8月份批量生成文件缓慢，没有在窗口内完成。

2分析

   生成批量文件的逻辑很简单，针对一个查询语句进行循环，依次使用utl_file.put_line写入文件（文件在集群文件系统GPFS上）。

 

  查询SQL执行计划，未发现异常。

 

  查询gv$active_session_history，发现会话等待事件集中在“utl_file I/O”上：

  sql_id

wait_class

event

count

5nddq6b1a4bbu

User I/O

utl_file I/O

22708

5nddq6b1a4bbu



391

75m4xybvbvj7y

Concurrency

os thread startup

3

75m4xybvbvj7y



735


Other

enq: PS - contention

4

 

查询dba_hist_event_histogram中对应的utl_file I/O等待事件等待时间分布如下：

SNAP_ID

INSTANCE_NUMBER

EVENT_NAME

WAIT_TIME_MILLI

WAIT_COUNT

80837

1

utl_file I/O

1

608614205

80837

1

utl_file I/O

2

123584

80837

1

utl_file I/O

4

970730

80837

1

utl_file I/O

8

25320

80837

1

utl_file I/O

16

363

80837

1

utl_file I/O

32

90

80837

1

utl_file I/O

64

16

80837

1

utl_file I/O

128

56

80837

1

utl_file I/O

256

1

80837

1

utl_file I/O

512

1

80837

2

utl_file I/O

1

3069290

80837

2

utl_file I/O

2

1

80837

2

utl_file I/O

4

2

80837

2

utl_file I/O

8

1

80837

2

utl_file I/O

32

5

80837

2

utl_file I/O

64

8624

80837

2

utl_file I/O

128

17714

80837

2

utl_file I/O

256

4315

80837

2

utl_file I/O

512

118

80837

2

utl_file I/O

1024

6

 

从上表中可以发现，实例1等待次数wait_count随等待时长wait_time_milli增加快速稳定下降，实例2等待次数wait_count没有随等待时长wait_time_milli增加下降，在wait_time_milli=128ms时存在一个明显的高峰17714，怀疑写入GPFS缓慢。

3测试验证

   通过测试比较写本地文件系统与写GPFS文件性能差异。

 

--写本地文件系统，

declare

  g_file utl_file.file_type;

begin

  dbms_output.enable(null);

  g_file := UTL_FILE.fopen('LOCAL_DIR','test20170805.txt','W');

  for x in 1..1000000 loop

    utl_file.put_line(g_file, x||rpad('x',1000,'x'));

  end loop;

  utl_file.fclose(g_file);

end;

/      

 

 

--写GPFS文件系统

declare

  g_file utl_file.file_type;

begin

  dbms_output.enable(null);

  g_file := UTL_FILE.fopen('GPFS_DIR','test20170805.txt','W');

  for x in 1..1000000 loop

    utl_file.put_line(g_file, x||rpad('x',1000,'x'));

  end loop;

  utl_file.fclose(g_file);

end;

/      

 

 

测试结果如下：

次序

文件大小

本地文件(sec)

GPFS文件(sec)

备注

1

100MB

7.4

7.5

打开新文件，写入

2

100MB

8.2

72

重新打开未删除原文件，写入

3

1GB

74

75

打开新文件，写入

4

1GB

75

756

重新打开未删除原文件，写入

5

1GB

74

676

重新打开未删除原文件，写入

 

  从上表中可以发现：

  规律1：在重复写同一个文件时，写GPFS文件系统比写本地文件慢一个数量级

  规律2：如果写入一个新文件，写入速度与本地文件系统相当

 

  至此，确定问题根源为GPFS写缓慢导致批量文件未能在窗口内完成。

4后续措施

   （1）敦促维护部门联系厂商更新相关补丁。

   （2）如再次出现生成文件失败问题，通过手工删除文件，很可能会加快写GPFS速度。

  

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/18922393/viewspace-2153318/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/18922393/viewspace-2153318/

cuian7084
关注
v$event_histogram柱状图分析
wanglixue2012的专栏
01-28 1143
select event,wait_time_milli,wait_count from v$event_histogram where event = 'latch: shared pool';   SQL> / EVENT                     WAIT_TIME_MILLI WAIT_COUNT ------------------------- --------
关于Oracle数据库IO等待相关指标的较为系统的分析方法
wish503的博客
11-29 2520
 我们在IO问题发生时间段： 1.可以查dba_hist_system_event 来看该IO相关等待时间的平均响应时间的变化趋势， 2.直接查dba_hist_event_histogram或者sys.WRH$_EVENT_HISTOGRAM ，来看该IO相关等待事件的等待时间直方图分布。 3.我们也可以从整体数据库的IO变化量上（dba_hist_sysstat），看出问题时段的
Oracle性能优化使用度量和预警
PrudentWoo 的个人空间
07-02 840
度量、预警及基线对性能进行监视时，需要使用一些统计信息之外的特定信息。为了确定特定统计信息是否重要，则需要了解经过一段特定时间之后，该统计信息的变化量。为了具有前瞻性，则需要在存在特定条件时（例如系统响应时间达到了允许的最大值）收到通知。为了诊断性能问题，需要了解更改的具体内容。度量、预警及基线即可提供这些信息。度量是累积统计信息在一段时间内的更改率。例如，每秒的物理读取数。可为各种度量设置阈值，当度量的值超过阈值时，就会生成预警。基线包含所存储的度量集和统计信息集。单个集称为快照。基线由两个或...
oracle数据库dba_hist等视图中的Delta相关字段介绍
coujiongyong0208的博客
05-07 990
从10g开始，我们采用awr报告来分析数据库的性能，我们发现增加了很多dba_hist相关的视图，其中基于时间相关的字段delta开始出现，对于我们计算语句的时间消耗很有帮助！ 其实Delta 表示第四个希腊字母...
Oracle-log file sync等待事件分析
sinat_36757755的博客
04-17 6488
Oracle-log file sync等待事件分析
oracle IO性能分析
最新发布
一个只求实际的程序猿
08-02 1066
22-10月-22 03.00.49.801 下午 20536 <4ms 89464 26.39。22-10月-22 03.00.49.801 下午 20536 <8ms 89464 18.28。22-10月-22 03.00.49.801 下午 20536 <16ms 89464 13.16。
GPFS实施过程中注意事项
qq_40999681的博客
07-11 1万+
谨慎更改操作系统参数 例如IBM给出需要修改的系统参数中有下面两行： net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_timestamps = 1 如果这台机器前面有使用硬负载F5，会有部分数据包被丢弃的情况，导致用户无法和服务器交互。 设置inode-limit inode-limit类似文件句柄，如果没有设置或设置过小，会导致文件无法写入，直接影响生成环境应用。 根据实际情况配置 Spectrum Scale 参数 例如IBM给出配置中有下面这条
gpfs参数优化
hbhe0316的专栏
10-02 685
mmlsconfig all #显示所有参数值https://www.cndba.cn/hbhe0316/article/4825 https://www.cndba.cn/hbhe0316/article/4825 https://www.cndba.cn/hbhe0316/article/4825 https://www.cndba.cn/hbhe0316/a...
gpfs overload解决
weixin_34095889的博客
02-21 314
gpfs的日志中出现overload，并且gpfs很卡，根据参考链接中的文档调整参数，缓解了overload 查看参数默认值，默认值为：32768 mmlsconfig scatterBufferSize 修改参数 mmchconfig scatterBufferSize=131072 参考链接https://linuxcluster.wordpress.com/category/file-sy...
GPFS无法写入大文件
qq_40999681的博客
08-30 878
今天正在摸鱼，突然被通知在测试环境无法往GPFS写入文件，只能写入小于100K的文件，而大于100K的文件均写入失败。开始上线排查。。。 先确认GPFS服务正常 [root@cngb-iss-m25-13-2 ~]# mmgetstate -a Node number Node name GPFS state ------------------------------------------- 1 cngb-iss-m25-...
文件系统那些事-第5篇 并行文件系统之蓝色选择GPFS
管子（zero）的杂乱空间
03-15 443
GPFS[i]（General Parallel File System）是一个IBM为在RS/6000 SP服务器上使用的一般目的（general-purpose）的可扩展文件系统。 GPFS继承了PIOFS文件系统。它是为高端的并行编程需要而设计的高性能文件系统。 可扩放性也许是GPFS最突出的特性。可扩放性指的是可以通过添加附加的相同甚至更少容量的硬件来获得读写性能的提升。一个真正可扩展...
linux gpfs,IBM GPFS并行文件系统解决方案
weixin_39701861的博客
05-26 742
随着技术的发展，大规模的并行计算的方式激发有关行业对高性能计算机的需求,作为后起之秀的Linux集群系统，吸取了SP 大规模并行机的诸多优势，IBM的通用并行文件系统GPFS 等和Linux 集群系统的竭诚不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，而且采用具有高可用性的IBM xSeries服务器，可以大大降低成本。目标市场：金融行业、气象局、地质勘探、高校实验室、生物工程、科...
存储调研：GPFS并行文件系统原理解析
热门推荐
渡江客涂鸦板
05-15 2万+
GPFS（GeneralParallelFileSystem）是IBM公司推出的行业领先的并行分布式通用并行集群文件系统，GPFS从1993开始研发，1995年投入商用（最早投入使用在多媒体处理行业，所以我们现在看到GPFS的很多目录和命令为什么都有MM[multimedia]两个字母，就是根据这个背景延续下来的）。
oracle试图--v$event_histogram
qq_38626217的博客
05-09 881
V$EVENT_HISTOGRAM 已等待为基础，显示等待的次数，最大等待，总等待时间的直方图，单位是毫秒。时间间隔为21 ms,22 ms, and >= 222 ms。 TIMED_STATISTICS初始化参数设置为true，才会统计直方图。 Column Datatype Description EVENT# NUMBE
【DBA笔记】log file sync等待事件详解与优化
m0_55928215的博客
03-02 1256
要想优化log file sync等待事件，那么懂得其触发机制和原理是很优必要的。这里先引用官方文档来对log file sync等待进行解释（任何信息的描述应以官方文档为准，百度到的结果通常会有一些错误，错误的信息会导致错误的思路以及错误的结果）：【翻译：当用户会话提交时，该会话的事务生成的所有redo记录都需要从内存中刷新到重做日志文件，以确保该事务永久性的记录到数据库变更中。
Oracle的AWR报告分析
求索
05-25 6356
【技术分享】开Oracle调优鹰眼，深入理解AWR性能报告
通过v$session和v$session_wait_class,v$system_event,v$event_histogram来确定锁等待
soulcq的专栏
04-02 4941
--通过v$session和v$session_wait_class,v$system_event,v$event_histogram来确定锁等待--1  获取等待时间select sid,username,     event,blocking_session,     seconds_in_wait, wait_timefrom v$session where state
Oracle统计信息（二）—— 直方图 Histogram
Hehuyi_In的博客
05-30 7055
一、 简介 1. 引入原因 在普通的统计信息中，CBO会默认目标列数据在其最小与最大值间是均匀分布的，并以此为依据预估条件选择率及结果集cardinality，进而选择执行计划。但在实际中，显然有些数据不是平均分布的，会出现所谓的“数据倾斜”，此时产生的执行计划很可能就不是最佳的。 2. 直方图是什么 直方图是一种特殊的列统计信息，它详细描述了列的数据分布情况。直方图收集后，CBO不会再认为列上是均匀分布的，可以根据实际情况预估条件选择率及结果集cardinality，选择正确的执行计划。 直方图
诊断某段时间数据库性能抖动问题思路
独孤清扬玩DB
07-01 2511
场景： 经常有开发人员反馈，在某段时间(甚至时间精确到秒) 反馈有业务接口超时问题。并不一定是某条sql慢，而是整个应用接口上都出现了慢sql问题。这时候一般是根据精确的时间点观察等待事件和报错日志以及时间点前后数据库在干什么事情来分析问题。 查看错误日志信息+监控信息 重点查看的是数据库alert日志错误告警和操作系统错误日志信息： linux下举例：/u01/app/oracle/diag/rdbms/orcl11g/orcl11g/trace/alert_orcl11g.log ..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值