心中有数,才能做到游刃有余。对于服务器厂商来说,如何了解自己的产品性能,又如何做到理性地向用户说明自己提供的服务器乃至调优过的整个软硬件系统能达到相对较高的性能,最直观的考量标准就是benchmark,即服务器工业标准基准测试。其中,业界最常用也最普及的就是tpc和spec两大基准。
spec测试用来全面衡量web应用中java企业应用服务器性能,而tpc测试体系则注重在线处理能力和数据库查询能力。如果说spec测试针对的是服务器硬件,则tpc测试针对的是一整套系统,它体现着服务器厂商在高端关键领域的方案开发和优化能力,因此,对高端用户选型整套系统来说,tpc测试无疑更具参考价值。
告别“富人的游戏”
tpc-e测试是tpc组织于去年3月最新推出的测试基准,也是目前服务器场厂商参与热情最高的测试基准。认识tpc-e,还需要先熟悉一下它将逐步取代的前代基准——有着14年历史的tpc-c,它们针对的都是oltp(联机事务处理)测试模型。
tpc-c是业界最为流行的测试基准之一,但同时也是遭遇诟病最多的基准之一。tpc-c测试模拟了比较复杂的oltp应用环境,模型就是批发商的系统订单处理,其操作环境由一系列仓库组成,每个仓库有若干个终端,分别代表销售站点和查询站点,由tpc-c测试系统执行3种前台交易和2类后台事务处理,并给出两个基准测试指标——性能指标tpmc和性价比指标美元/tpmc。
由于tpc-c逼真地模拟了oltp应用,在发布后逐渐得到广大用户的认可,使用tpmc作为其计算机系统性能评价体系基础的用户数量逐年上升。然而弊端也逐渐暴露出来,在14年中,b2b、b2c等新型应用已逐渐兴起,tpc-c现有的仓库管理系统测试模型距离目前的oltp用户应用模式越来越远,5种事务处理不足以覆盖用户现有的典型操作。更遭受质疑的是,为了追求高分,服务器厂商不得不在调优方式上增加了大量磁盘,硬件成本的急剧攀升给厂商带来了很大压力。动辄数百万美元并非是每个服务器厂商都有经济实力去参与的,而且对用户的参考价值也越来越小,因此被评价为“富人的游戏”。
tpc-e问世改变了这一现状,厂商参与的热情重新高涨起来。据浪潮服务器方案技术经理乔鑫介绍,做tpc测试的费用是由两部分组成的,一部分是交给tpc组织及其审核机构的固定费用,另一部分就是测试本身的硬件成本。固定成本并没有什么差别,差别在于硬件成本的节省。粗略计算,用于tpc-e测试的硬件投入约为tpc-c测试硬件投入的1/3左右。“tpc-c排行榜上的前几名都需要6000多块硬盘,而我们目前提交的tpc-e测试只需要几百块就够了。”而另外一个原因则是tpc将提供软件的源代码,取代了要求测试人员自己编写代码。
那么,tpc-e测试模型对实际业务的考量价值有多大呢?乔鑫介绍说,tpc-e在测试模型上进行了巨大革新与改进,更加强调模型的高仿真性。它是以美国纽约证券交易所为模型的,模型架构完成了从c/s架构到b/s架构的过渡,是典型的互联网时代oltp性能测试基准。tpc-e模拟了一系列后端处理数据以及证券公司前端客户在股票交易市场的典型行为——账户查询、在线交易和市场调研,模拟证券公司也与外界金融市场相联系,根据市场变化执行指令并更新相关账户和市场信息。它不仅包含了b2c环境,还包含了b2b环境,这种商业模型更容易理解,同时更贴近现有用户的应用。
针对以上模型,tpc-e建立了比tpc-c更为复杂的数据库表结构,事务类型也增加到了12种,虽然tpc-e使用了更多的表结构及事务,但由于tpc-e更新了存储的过程和方式,减少了对磁盘i/o的利用,降低了系统对磁盘数目的要求。使用同一数据库服务器,tpc-e相比tpc-c可以减少2/3的硬盘数目,这对于降低参加测试系统的整体费用意义重大。
浪潮的测试体味
更高的仿真性,更低廉的测试成本,理所当然会受到服务器厂商的欢迎,更进一步说,它对用户的参考价值也更大。浪潮就在前不久提交了四路系统的tpc-e测试报告,并以702.90tpse的高分取得了新突破。“tpc-e一发布,我们就开始关注。我们早就在实验室里把模型实现并进行优化了,直到最近才提交,这个过程需要很长时间。”对此,直接参与测试的乔鑫有着很多体会。











