1、 测试报告 帆软报表 FineReport性能测试报告测试报告 目 录第一章 性能测试概述 11.1 性能测试目的 .11.2 名词解释 .11.3 参考资料 .1第二章 测试需求分析 12.1 测试目的 .12.2 测试对象 .12.3 系统结构 .22.4 测试属性 .22.4.1 测试范围 22.4.2 主要检测内容 22.5 系统环境 .22.5.1 硬件环境 32.5.2 软件环境 32.6 测试基础数据说明 .42.7 测试指标说明 5第三章 测试计划及方案 53.1 测试场景设计 .53.1.1 单一用户，运算一张报表的性能 .53.1.2 多用户，运算同一张报表的性能 .63.
2、1.3 大数据量报表的运算能力 .63.1.4 超大数据量报表的运算能力 63.1.5 每秒处理事务 TPS 专题 7第四章 单个用户，运算一张报表的性能 .74.1 一万数据量测试结果 .74.1.1 不采用行式引擎及分页算法的报表展现 74.1.2 采用行式引擎及分页算法的报表展现 94.1.3 对比总结 .114.2 五万数据量测试结果 .124.2.1 不采用行式引擎及分页算法的展现 124.2.2 采用行式引擎及分页算法的展现 144.2.3 对比总结 .164.3 十万数据量测试结果 .174.3.1 不采用行式引擎及分页计算报表展现 174.3.2 采用行式引擎及分页计算报表展现
3、 194.3.3 对比总结 .204.4 结果汇总 .21第五章 多用户，运算同一张报表的性能 .215.1 一万并发测试结果 .225.1.1 不采用行式引擎及分页计算 225.1.2 采用行式引擎及分页计算 23测试报告 5.1.3 对比总结 .255.2 五万并发测试结果 .265.2.1 不采用行式引擎及分页计算 265.2.2 采用行式引擎及分页计算 275.2.3 对比总结 .295.3 十万并发测试结果 .305.3.1 不采用行式引擎及分页计算 305.3.2 采用行式引擎及分页计算 315.3.3 对比总结 .335.4 结果汇总 .34第六章 大数据量报表的运算能力 .34
4、6.1 五十万单用户访问报表 .356.2 五十万多用户访问报表 .376.3 一百万单用户访问报表 .396.4 一百万多用户访问报表 .416.5 结果汇总 .43第七章 超大数据量报表的运算能力 .437.1 单用户超大数据量报表 447.2 多用户超大数据量报表 457.3 结果汇总 47第八章 持续访问 TPS 专题 .488.1 不采用行式引擎及分页计算 488.1.1 单用户持续访问 5 分钟 488.1.2 十个用户持续访问 5 分钟 498.1.3 五十个用户持续访问 5 分钟 518.2 采用行式引擎及分页计算 528.2.1 单用户持续访问 5 分钟 .528.2.2 十
5、个用户持续访问 5 分钟 548.2.3 五十个用户 .558.3 结果汇总 .57第九章 测试报告结论 57测试报告 1第一章 性能测试概述1.1 性能测试目的随着企业信息化的全面推进，目前应用系统的大数据量运算、大并发等情况相当普遍，模拟实际系统使用环境进行针对报表的性能测试。编写此测试方案的目的是通过测试确认软件是否满足产品的性能需求，同时发现系统中存在的性能瓶颈，起到优化系统的目的。测试的依据是产品的需求规格说明书；如果用户没有提出性能指标则根据用户需求、测试设计人员的经验来设计各项测试指标。此模板使用于性能测试的方案设计和测试报告记录。1.2 名词解释无1.3 参考资料此方案参考帆软
6、报表产品相关文档。第二章 测试需求分析2.1 测试目的针对业务系统处理生成数据量较大，需要执行性能测试，得出系统的性能指标；另外，持续进行大压力测试，对系统进行稳定性测试。2.2 测试对象本次测试产品的名称，版本说明。测试报告 2Product Name：帆软报表 V6.5 2.3 系统结构2.4 测试属性2.4.1 测试范围报表系统各项性能指标，软件响应时间的性能测试、CPU、Memory 的性能测试、负载的性能测试（压力测试）。2.4.2 主要检测内容1)典型应用的响应时间2)客户端、服务器的 CPU、Memory 使用情况3)服务器的响应速度4)系统支持的最优负载数量5)网络指标6)系统
7、可靠性测试测试报告 32.5 系统环境性能测试的软硬件环境说明。2.5.1 硬件环境测试应用服务器配置：应用服务器类型 IP CPU OS Memory StorageTomcat5.0 192.168.100.170Intel(R) Core(TM)2 Quad CPU Q8300 2.50GHz 2.51GHzWindows Server 20031G 1TB报表所用服务器为报表内置的 Tomcat 服务器。测试数据库服务器配置数据库类型 IP CPU OS Memory StorageOracle10g 192.168.100.168Intel(R) Core(TM)2 Quad CPU
8、 Q9550 2.83GHz 2.83GHzWindows Server 20031G 1TB2.5.2 软件环境2.5.2.1 测试软件产品帆软报表 V6.5 版本 2.5.2.2 测试工具Mercury LoadRunner 8.1LoadRunner 概 要 介 绍 ：LoadRunner 是一种预测系统行为和性能的工业标准级负载测试工具。通过以模拟测试报告 4上千万用户实施并发负载及实 时 性 能 监 测 的 方 式 来 确 认 和 查 找 问 题 ， LoadRunner 能 够 对 整 个 企 业 架 构 进 行 测 试 。 通 过 使 用 LoadRunner ， 企 业 能 最
9、 大 限 度 地 缩 短测 试 时 间 ， 优 化 性 能 和 加 速 应 用 系 统 的 发 布 周 期 。模拟图如下：2.6 测试基础数据说明为了能够测试在并发及大数据量下的性能表现，通过数据复制的方式准备了如下测试数据：表名称：TableTenm （数据记录数：10 万条）名称 类型 是否可空 是否主键个人编号 NUMBER NO YES单位编号 VARCHAR2(20) NO NO单位地址 VARCHAR2(20) NO NO参保时间 VARCHAR2(20) NO NO缴费金额 VARCHAR2(20) NO NO生日 VARCHAR2(20) NO NO测试报告 5性别 VARCH
10、AR2(4) NO NO缴费状态 VARCHAR2(10) NO NO2.7 测试指标说明在总体性能测试情况概要中有这样 3 个指标：Average Throughout(bytes/second)，表示每秒的吞吐量，即服务器跟浏览器之间传输每秒的字节数，这个数值越大，就说明性能越好；Average Hits per Second：每秒钟的点击数，这里的点击数就是 HTTP 协议每秒钟发出的请求数，这个指标可以表明对服务器的压力，发出的请求数越多对服务器的压力就越大。当然，这些参数的比较都是在相同环境下比较才有意义的；Transactions per Second：每秒处理的事务数目，一般处理
11、的事务数是 Controller 执行的在脚本里录制的时候以初始化和结束事件为标记的个数，一个事务对应多个点击，例如在一个事务中，对应的网页中链接有图片，图片对应会发送一个点击，因此，一个事务可能会有多个点击，这是事务数跟点击率的一个简单关系。其他两个指标是报表执行时间跟系统资源消耗，系统资源消耗这里引用 process time参数作为指标，为 CPU 利用率。以下测试过程都分为四个环节分析指标的数值，第一：总体性能概要；第二：报表展示时间；第三：CPU 利用率；第四：事务处理（针对并发） 。第三章 测试计划及方案3.1 测试场景设计正常企业的实际生产环境中，大数据量非常常见。数据量过大，往
12、往导致运算速度非常慢，客户端等待时间过长，甚至导致服务器内存溢出等等现象。比如在银行、税务、商业等领域都有包含大数据量的报表。在木桶原理的作用下，这些大数据量的报表通常都是业务系统的瓶颈，决定着一个业务系统的成功与失败。通过测试大数据量的报表，可以在更早的评估出一个报表工具是否适合将来实际的生产环境。那么，从性能方面，要解决的问题包括以下三个层面场景，每个层面下面分为是否执行行式引擎和分页计算两种优化方式，行式引擎跟分页计算两种引擎同时使用可以很大程度上加快报表访问速率，使得在报表展现更加人性化。测试报告 63.1.1 单一用户，运算一张报表的性能说明：单一用户，运算一张报表的性能是考核报表工
13、具引擎性能优化及运算能力的硬指标。一般来说，如果不采取任何措施，如分页计算、缓存、并发控制、调度等，在 java 堆为2048M 内存的情况下，运算一张报表的硬指标在 10 万条记录以下基本足够，数据量再大基本就会采取各种措施了。另外，单一用户，在实际应用环境下，等待时间不应超过 1 分钟，而超过 5 分钟就会认为系统死机，迫切地期望中断运行。因此，报表工具对于如何减少等待时间、是否提供中断大报表运行的能力非常重要。这种能力可以直接提升用户的体验感觉。值得关注的是，运算一张报表的性能，不仅仅要考核简单线性报表，还需要考核复杂的非线性报表；不仅仅要考核运算速度，还需要考核能够支持的最大数据量，应
14、当是综合得分。单一用户需要再分为是否执行行式引擎和分页计算。3.1.2 多用户，运算同一张报表的性能说明：多用户并发的时候，常常出现多个用户访问同一张报表，此次测试不采取任何缓存措施，测试支撑并发访问的能力。多用户下再分为是否执行行式引擎和分页计算。3.1.3 大数据量报表的运算能力在 2048m 内存下，我们认为 50 万，100 万条记录的报表可以归入大数据量报表的范畴。此时用户更加看重的是能否采取有效机制使得大数据量报表正确运算出来，且每一页的展现时间很短，不需要长时间等待。大数据量的报表就很必要选择执行行式引擎和分页计算，这样会大大提高报表展现速度。测试报告 73.1.4 超大数据量报
15、表的运算能力100 万数据量的称为大量数据量报表，那 1000 万数据量的报表就可以称得上是超大型的了，不采用优化引擎执行速度可想而知，这里就测试一下采用引擎之后的性能，分单用户跟多用户两种情况。3.1.5 每秒处理事务 TPS 专题由于 TPS 是体现服务器处理事务的能力的一个重要指标，体现了每秒服务器能处理的事务的个数，因此单独列出专题，采用持续 5 分钟访问报表来进行测试，大量的发送请求才能更好的了解服务器的性能。测试报告 8第四章 单个用户，运算一张报表的性能4.1 一万数据量测试结果4.1.1 不采用行式引擎及分页算法的报表展现1）总体性能测试情况概要测试报告 92）报表展现时间3）
16、系统资源消耗测试报告 10CPU 利用率为上图中的绿点对应的坐标值：23%4.1.2 采用行式引擎及分页算法的报表展现1）总体性能测试情况概要测试报告 112）报表展现时间3）系统资源消耗测试报告 12CPU 利用率为 25%。4.1.3 对比总结通过参数说明中对各个参数的理解，从以上测试结果可以看出，在处理 1 万条数据的时候，由于在简单列表展示性能上的优越性，一万数据的列表只需要很短的时间，添加行式引擎跟不添加的效果几乎没有什么区别。如下图所示：测试报告 134.2 五万数据量测试结果4.2.1 不采用行式引擎及分页算法的展现1）总体性能测试情况概要测试报告 142）报表展现时间3）系统资
17、源消耗测试报告 15CPU 利用率为 25%。4.2.2 采用行式引擎及分页算法的展现1）总体性能测试情况概要测试报告 162）报表展现时间3）系统资源消耗测试报告 17CPU 利用率为 25%。4.2.3 对比总结通过参数说明中对各个参数的理解，从以上测试结果可以看出，在处理 5 万条数据的时候，添加行式引擎之后的执行速率会得到明显提升。如下图所示：测试报告 184.3 十万数据量测试结果4.3.1 不采用行式引擎及分页计算报表展现1）总体性能测试情况概要：测试报告 19上图是测试过程的一个总结性的数据统计，这里主要的参数是 Average Throughput(byte/second)：每
18、秒的吞吐量，这个数据越大也就说明了访问速度比较快。Hit Per Second：每秒点击量，是每秒钟用户给服务器发送的 HTTP 请求数，来体现对服务器压力的大小。2）报表展现时间：从上图中可以看出，上述环境下，一个用户运行一张 10 万行数据量的报表所需要的时间为39 秒。3）服务器系统资源消耗：测试报告 20系统资源中有很多参数，我们在此选择最能说明问题的 Resource Usage：资源占用率，来体现性能，可以看到资源占用率平均不到 50%。4.3.2 采用行式引擎及分页计算报表展现1）总体性能测试情况概要2）报表展现时间测试报告 213）系统资源消耗4.3.3 对比总结由以上测试结果
19、表明，行式引擎提高了报表运算时间，占用 cpu 平均时间也降低的不少。结果如下图：4.4 结果汇总由以上结果汇总如下：测试报告 22首先，这样的列表一万数据量采用不采用行式引擎效果不是很明显，因为本身就已经很快了。采用行式引擎及分页计算之后，不管是展示时间还是在系统消耗方面，还是会看到一个明显的优化；第五章 多用户，运算同一张报表的性能上面的章节是针对单个用户运算一张常规大数据量报表的性能测试计划，如果多个线程重复访问同一张报表，这就需要模拟测试多用户对服务器的压力测试报表性能。下面我们仍采用上面几章节所用的 1 万，5 万跟 10 万行数据量的报表模板，测试多用户下的性能。此次测试不采取任何
20、缓存措施，测试支撑并发访问的能力。这里将并发数设置为 100，并且设置为 100 虚拟用户同时访问 Web 报表。5.1 一万并发测试结果5.1.1 不采用行式引擎及分页计算1）总体性能测试概要测试报告 232）报表展现时间3）服务器系统消耗资源测试报告 24CPU 利用率 60%4）每秒处理事务数 TPS总共 100 个事务，如上图所示，是整个过程中每秒处理的平均值。5.1.2 采用行式引擎及分页计算1）总体性能测试概要测试报告 252）报表展现时间3）服务器系统消耗资源测试报告 26CPU 利用率为 59%。4）每秒处理事务数 TPS总共 100 个事务，如上图所示，是整个过程中每秒处理的平均值。5.1.3 对比总结由以上结果汇总如下图所示：执行报表时间也有了一个降低。测试报告 275.2 五万并发测试结果5.2.1 不采用行式引擎及分页计算1）总体性能测试概要2）报表展现时间3）服务器系统消耗资源
