云服务器

五分钟了解几款磁盘测试与IO查看的工具

2020-07-14 15:11:54 162

这期来讲一下云服务器中linux架构下,跟磁盘相关的几款测试工具,包括运维经常使用的IO测试工具FIO,已经简单轻量化的测试工具DD,以及一个IO相关状态的查看工具IOSTAT,以下笔者就为您介绍这款工具的使用

 

 

存储的使用中需要关心什么指标

磁盘性能指标—IOPS

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。

随机读写频繁的应用,如小文件存储(图片)、OLTP数据库、邮件服务器,关注随机读写性能,IOPS是关键衡量指标。

顺序读写频繁的应用,传输大量连续数据,如电视台的视频编辑,视频点播VOD(Video On Demand),关注连续读写性能。数据吞吐量是关键衡量指标。

IOPS和数据吞吐量适用于不同的场合:

读取10000个1KB文件,用时10秒 Throught(吞吐量)=1MB/s ,IOPS=1000 追求IOPS

读取1个10MB文件,用时0.2秒 Throught(吞吐量)=50MB/s, IOPS=5 追求吞吐量

 

 

磁盘服务时间

传统磁盘本质上一种机械装置,如FC, SAS, SATA磁盘,转速通常为5400/7200/10K/15K rpm不等。影响磁盘的关键因素是磁盘服务时间,即磁盘完成一个I/O请求所花费的时间,它由寻道时间、旋转延迟和数据传输时间三部分构成。此处就不一一展开介绍了。

 

 

影响测试的因素

实际测量中,IOPS数值会受到很多因素的影响,包括I/O负载特征(读写比例,顺序和随机,工作线程数,队列深度,数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时,必须在同样的测试基准下进行,即便如此也会产生一定的随机不确定性

 

 

FIO的具体介绍与安装

FIO是测试IOPS的非常好的工具,用来对硬件进行压力测试和验证,支持13种不同的I/O引擎,包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等,一般用于裸盘的测试较多,生产环境中测试时请谨慎使用,一定要了解该工具的测试方法,避免出现覆盖磁盘数据的情况

 

 

安装Fio

使用yum安装或者源码,二进制包等安装都可以,这里我们使用源码包安装为例

wget http://brick.kernel.dk/snaps/fio-2.2.5.tar.gz
yum install libaio-devel
tar -zxvf fio-2.2.5.tar.gz
cd fio-2.2.5
make
make install

 


Fio的简单使用

随机读:(可直接用,向磁盘写一个2G文件,10线程,随机读1分钟,给出结果)

fio -filename=/tmp/test_randread -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

 

顺序读:

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

 

随机写:

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

 

顺序写:

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

 

混合随机读写:

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest -ioscheduler=noop

 

 

dd的具体介绍与安装

dd工具是一个linux自带的命令,一般无需安装。当写入到驱动盘的时候,我们简单的从无穷无用字节的源 /dev/zero 读取,当从驱动盘读取的时候,我们读取的是刚才的文件,并把输出结果发送到无用的 /dev/null。在整个操作过程中, DD 命令会跟踪数据传输的速度并且报告出结果。

 

 

dd工具在实际运维中的使用

一般可以用来测试直写的性能,因为缓存这一层往往是一个影响的因素。

测试纯写入性能
dd if=/dev/zero of=test bs=8k count=10000 oflag=direct

测试纯读取性能
dd if=test of=/dev/null bs=8k count=10000 iflag=direct

另外如果是测试实际应用层面的读写的时候,可以使用以下的命令,经过缓存层,更符合实际的情况。

测试磁盘写能力
time dd if=/dev/zero of=/testw.dbf bs=4k count=100000

测试磁盘读能力
time dd if=/dev/sdb of=/dev/null bs=4k

 

IOstat的具体介绍与安装

iostat也算是比较重要的查看块设备运行状态的工具,使用yum install iostat即可快速安装。相信大多数使用Linux的同学都用过这个工具,或者听说过这个工具。

 

 

dd工具在实际运维中的使用

我使用一张图来展示体现出来的效果。

 

下面是几个重点关注参数

1、iowait% 表示CPU等待IO时间占整个CPU周期的百分比,如果iowait值超过50%,或者明显大于%system、%user以及%idle,表示IO可能存在问题。

2、avgqu-sz 表示磁盘IO队列长度,即IO等待个数。

3、await 表示每次IO请求等待时间,包括等待时间和处理时间

4、svctm 表示每次IO请求处理的时间

5、%util 表示磁盘忙碌情况,一般该值超过80%表示该磁盘可能处于繁忙状态。

 

以上就是关于几款磁盘测试与IO查看的工具,希望读者朋友看完这篇文章后有所启发。

 

睿江云官网链接:www.eflycloud.com

上一篇: 无

微信关注

获取更多技术咨询