测试目的 随着硬件辅助转发，尤其是NP在中档宽带路由器中的普遍采用，原来采用的“裸奔”（及关闭防火墙功能并不加载任何QoS策略）情况下测试的最大吞吐率、连接数等主要指标，已经越来越难区分设备的性价比。而所谓最大带机数更是一个缺乏标准水分偏大的参数。为此Pconline网络设备频道特别进行了一次“中西结合”的产品测试，在不放弃考察基准性能的前提下，通过尽量模拟设备使用的典型真实环境，力求提供一份对宽带接入路由使用者高度参考价值的报告。 产品介绍 根据官方介绍，SR-330系列安全路由器是Hillstone针对多用户数、多接入点、多种应用等市场需求而设计的新一代高性能安全产品。设备采用高达800MHz 64位多核处理器，并且以专业防火墙操作系统StoneOS为核心，对多核处理器进行优化，搭载海量高速DDR2内存，提供高达1Gbps的数据吞吐率和最高每秒1.2万的新建连接数，充分满足500台主机同时上网的峰值压力，高性能和专业防火墙功能可有效抵御ARP和DDoS攻击。
在控制端口的旁边，也少不了各种指示灯和RESET按钮，除了能显示电源、数据、警报等外，还可以显示目前CPU的占用百分比，便于网管人员简单判断设备使用状态。
产品功能介绍 SR-330采用的是Hillstone自行开发的StoneOS操作系统，配备了专业防火墙、IPSEC VPN、QoS带宽管理、ARP攻击防护等功能。
性能测试 测试设备： IXIA 1600T
IXIA1600是业界先进的网络测试仪器，IXIA 1600T共16个插槽，提供了极大的端口密度，支持广泛的接口种类，包括：OC-3、OC-12、OC-48和OC-192的PoS接口，10M、100M、1000M和10Gbps的以太网接口。此外，IXIA采用上行和下行FPGA技术，在每个端口上实现线速的流量发生和统计分析。 它提供了两种主要的图形化用户管理软件：IxExplorer用户自定义管理软件和Scriptmate自动测试管理软件。其中，IxExplorer用户自定义软件工具可以通过本地或TCP/IP网络对IXIA性能测试系统平台进行管理，并且可编辑、控制流量的发生，统计及解码分析。Scriptmate自动测试管理软件提供一系列工业化的自动性能测试软件。提供的自动测试软件套包括：RFC2544、RFC2285、QoS、IP组播、服务器负载均衡、路由能力及路由收敛测试等。通过IXIA提供的Tcl应用编程接口，可以实现更加灵活的测试应用。此外，多个客户端管理软件可以对同一个IXIA平台的不同端口进行分布式管理。 随着路由器的实现越来越复杂，路由性能也需要做更详尽的分析检测。IXIA 1600T提供了灵活的路由协议仿真功能，可以满足广泛的测试应用需求，包括：RIP、IS-IS、MPLS RSVP-TE、OSPF、BGP、RIPng、IS-ISv6、OSPFv4、BGP+、L2VPN、L3VPN以及VPLS等。 Chariot测试方法简介：
Chariot测试则是用两台服务器，安装NETIQ公司的软件Chariot，一台接路由器WAN口，一台接LAN口，通过统计一个预定长度和格式的脚本文件无差错地从一台服务器传送到另一台服务器的时间来计算出路由器的Throughput。建立的连接数越多，对路由器软件的性能要求越高，软件写得差的，在连接数增加时，其Throughput会直线下降，甚至导致无法连接；而软件写得好的路由器则很平稳，甚至会随连接数的增加反而略有上扬。Chariot测试不象Smartbits测试那样是测试UDP“包”，而是数据“流”，其数据封装成多大TCP包和服务器操作系统相关，但一般都封装为1518Byte大包，所以其测试数据会比用Smartbits测试64 Byte小包的数据好看很多倍。 Chariot简介： Chariot 是业界著名的多功能网络业务测试软件。非常多的评测实验室都在使用Chariot 软件进行网络设备的性能测试，比如一些千兆以太网卡横向比较测试和无线局域网产品的横向比较测试，我还看到很多对于防火墙设备的评测都采用了Chariot 。
Chariot 的基本组成包括Chariot 控制台和Endpoint 。其中Chariot 控制台可以运行于Microsoft 的各种Windows 平台。在Chariot 控制台上可以定义各种可能的测试拓扑结构和测试业务类型。 Endpoint 可以运行在几乎目前流行的所有操作系统上。Chariot Endpoint 能够充分利用运行主机的资源，执行Chariot 控制台发布的Script 命令，从而完成需要的测试 基础性能测试 Throughput(吞吐量、包转发率)测试： Throughput（吞吐量）表示的是路由器每秒能处理的数据量。打个形象的比方，路由器的工作过程很像邮局包裹业务，邮局寄包裹是大家把物品、寄件人、收件人等信息交给邮局，邮局把物品包好，并贴上格式化的包裹单，检查无误后投递到目的地，收包裹是相反过程。路由器基本一样，只不过收发的东西是数据而已。Throughput就相当于邮局单位时间里的包裹处理能力，是路由器性能的直观反映。但同时，这个数据后面隐藏的名堂也是最多的。 首先应该说明路由器的Throughput，一定是LAN-to-WAN的Throughput，数据流出或流入局域网才需要路由器处理，才能代表路由器性能。而不是LAN-to-LAN，这代表的是路由器内部小交换机性能，一点意义都没有。这就像邮局单位时间里的包裹处理能力，一定指的是运出和运进邮局的包裹量，而不是从邮局一个房间搬到另一个房间的包裹量。 其次，路由器Throughput，应该是在NAT（网络地址转换）开启、防火墙关闭的情况下得出的测试数据。这是因为NAT是宽带路由器最基本、最核心的功能，不开启NAT就不成其为宽带路由器了，而且软件设计的好坏直接影响到NAT效率和路由器性能，所以NAT开启的Throughput才是有意义的。而防火墙，应该算做宽带路由器附带的高级功能，有的产品防火墙规则很多很复杂，能过滤很多东西，有的产品规则就又少又简单。规则多、复杂的，CPU用来过滤数据的时间就长，规则少、简单的，过滤数据的时间就短，这对Throughput测试数据影响还是挺大的。为公平起见，在测试路由器Throughput时，特别是在不同产品性能比较时，把防火墙关闭是合理的。防火墙的评判，一般放在功能里比较而不是性能比较。 测试时我们采用了SR-330的两个WAN口，和两个LAN口，双向发送数据，总带宽为4GB。
单单从转发率的成绩来看，64Bytes的小包有13.037%的转发率，但由于是全千兆的端口，所以实际吞吐量并不低，换算之后64B的小包也有130.37Mbps的吞吐量，算是很不错的成绩了。在06年我们进行的宽带路由器横评中，也只有H3C的产品达到了90%以上的转发率（百兆端口）。在这个环节来说，应该是完全可以胜任较苛刻的网络环境的。 不过由于我们并未拆解该机器，所以目前未能确定是基于软件的NAT转发，还是内部具有硬件支持（ASIC芯片）的NAT转发
2006年PConline宽带路由器横向评测转发率结果 并发连接数与每秒新建连接数测试 并发连接数是指防火墙或代理服务器对其业务信息流的处理能力，是防火墙能够同时处理的点对点连接的最大数目，它反映出防火墙设备对多个连接的访问控制能力和连接状态跟踪能力，这个参数的大小直接影响到防火墙所能支持的最大信息点数。 并发连接数是衡量防火墙性能的一个重要指标。在目前市面上常见防火墙设备的说明书中大家可以看到，从低端设备的500、1000个并发连接，一直到高端设备的数万、数十万并发连接，存在着好几个数量级的差异。那么，并发连接数究竟是一个什么概念呢？它的大小会对用户的日常使用产生什么影响呢？要了解并发连接数，首先需要明白一个概念，那就是“会话”。这个“会话”可不是我们平时的谈话，但是可以用平时的谈话来理解，两个人在谈话时，你一句，我一句，一问一答，我们把它称为一次对话，或者叫会话。同样，在我们用电脑工作时，打开的一个窗口或一个Web页面，我们也可以把它叫做一个“会话”，扩展到一个局域网里面，所有用户要通过防火墙上网，要打开很多个窗口或Web页面（即会话），那么，这个防火墙，所能处理的最大会话数量，就是“并发连接数”。 每秒新建连接数是指防火墙在单位时间内所能建立TCP/HTTP连接数量，这个参数的大小直接影响防火墙在单位时间内所能建立的最大连接数量，这也是考察防火墙性能的一个重要指标。 设备配置： 测试流量分别为TCP和HTTP。模拟200个客户端和2个server，TCP模拟三次握手然后不关闭连接，HTTP 使用1.1版本，模拟get 1byte的http页面，然后三次握手关闭链接。 使用软件为IXLoad 3.30版本。 使用TCP测试的新建连接速率为10000connections/s
SR-330的并发连接数达到了100K之多，在这个档次的产品中算是上等表现了。而据我们获得的信息，100K的连接数还是设备本身设定的最高值，如果不加以限制，应该还会更高。之所以限制连接数，是因为过高的连接数会消耗更多的系统内存，同时会对CPU的压力增大，从而影响到其它应用的正常发挥，甚至发生雪崩效应，另外也会让远低于设备吞吐量的Internet链路变得更拥挤。 而每秒新建连接数取决于设备的内存容量和处理器，从测试结果来看，7000每秒的新建连接数还是对得起其800MHz的多核处理器和256MB的内存的。（低于其标称值10K，不过测试方法的不同会导致数据偏差） 场景模拟测试 做完基础性能测试，我们会发现基于所有应用关闭，即“裸奔”下的性能，对于实际使用并没有一个非常直观的参考依据。虽然性能不错，但在实际应用中复杂的网络环境下，是否有同样良好的表现？这个有待进一步验证。于是，我们决定对其进行场景模拟测试。 场景模拟测试分两部分，都是打开大多数功能，第一部分采用一定比例的不同大小数据包，对被测设备进行再一次的性能测试，也就是说这次不是“裸奔”了，而是“负重行军”，还是以吞吐量作为准绳。第二部分则是在一定比例大小数据包的情况下，发送一定带宽的流量，在这基础上采用Chariot对设备的时延进行对比性测试，观察在不同流量情况下Chariot测试的时延结果差距，从而对设备性能有更直观的表达。 场景设置一（模拟网吧的真实情况） 设备连接：采用单WAN口单向流量 用户： 条件： 模拟客户机上网时 IXIA1600参数设置： 包比例 包大小 带宽 由于考虑到防火墙会阻止类似DDOS攻击的问题，全部用UDP，TCP包暂时不采取。
根据测试结果计算得出场景模拟一的包转发率为13.327%左右，混合包的吞吐量为133.27Mbps，即是说SR-330在打开防火墙等功能，加载策略，并将每IP会话数限制在300个时，所能提供的外网吞吐量为133.27Mbps，足够胜任接上100M的光纤了。 场景设置二（模拟网吧的真实情况） 根据场景设置一的测试结果，我们可知在该混合包测试（1518B 12%、750B 53%、78B 35%）下，SR-330的吞吐量为133.27Mbps。所以，我们继续根据实际使用情况中的宽带带宽，作四个子场景下的模拟测试：选择的带宽分别为0Mbps、30Mbps、50Mbps、100Mbps，均由IXIA1600提供流量（单WAN口接入）。在持续稳定的压力下，再利用Chariot软件，由另一个WAN口和另一个LAN口建立连接，传送测试响应时间的respones_time包和测试流媒体时延的Realmed包，从而得出SR-330在不同压力下性能变化的直观表现。 用户： 条件： 模拟客户机上网时 IXIA1600参数设置： 包比例 包大小 带宽 由于考虑到防火墙会阻止类似DDOS攻击的问题，全部用UDP，TCP包暂时不采取。 Chariot设置： 分别选取respones_time和Realmed两个测试脚本，代表普通数据包和流媒体应用，观察其时延的变化。
响应时间测试：
从测试结果来看，响应时间一直保持在比较低的水平，从无负载状态下的0.001second到100M负载下的0.002-0.003second，变化不大，只在是高负载时波动变大了一些，这个可以从最大响应时间看出。 流媒体时延测试：
流媒体是对带宽和时延都要求比较高的应用，从这个脚本的结果我们能大概看出流媒体在SR-330上的传输情形：在零负载时，最大时延也才零点零几毫秒，几乎可以忽略时延的影响。不过在加上负载之后，时延还是有了一定的增加，在30M的流量压力下，平均时延在2毫秒左右，数据间的差距不是很大。在50M时的时延增加到了3毫秒左右，而且数据间的差距也变大了，在100M时达到了3－4毫秒的时延。可以看出在有负载压力下的流媒体应用还是受到一定影响的。 总结 经过这次测试，我们对SR-330的性能有了一个较好的认识。首先，其硬件配置在同等价位的产品中是一个姣姣者，800MHz的网络处理器和均是256M的内存和闪存，为其性能表现与后期增值提供了基础保障。其次， StoneOS操作系统在良好的硬件基础上构建了一个功能丰富的应用平台，不过在某些方面还有可挖掘之处，比如QoS的支持协议不够细化，特别是对一些流媒体的QoS没有支持，比如RTP等。在性能方面，小包的吞吐量为130.37Mbps，对于是采用了软件NAT还是硬件NAT，我们还未能下定论。并发连接数也有高达100K之多，不过新建连接数并没有达到标称的12K，只有7K左右，虽然这个数据在我们看来也不差。 而在最后我们进行的两个首创性的混合数据包下的场景模拟测试中，133Mbps的“场景下极限不丢包吞吐量”还是令人满意的。第二个场景的响应时间之检验则带有一些不确定性，我们反复进行了多次测试，得出的结论是：对于普通数据包的响应时间并不受负载的增加而有明显加长，但对于时延敏感的应用则具有一定抖动（我们之前预料时延会有一个明显变化的），究其原因，我们在测试中采用的是未超过其最大吞吐量的负载，SR-330本身也比较健壮，在不同负载下均保持了良好的性能。 总的来说，我们认为该设备具有较高的健壮性，在大负载的情况下，转发时延没有明显变化，结合之前测出的133Mbps的负载下最大吞吐量，这款设备在100Mbps负载下，能够承受苛刻的工作环境，比较适合多数网吧、企业以及小区宽带运营商的使用环境。不过用户数如果接近标称的500台，按100M的带宽来算，每客户端只能获得200K，客户体验会受到不小的影响。 |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
正在阅读：健壮的接入利器 Hillstone安全路由SR-330测试健壮的接入利器 Hillstone安全路由SR-330测试
2008-05-08 11:26
出处：PConline原创
责任编辑：xiexiaomian
