总体测试方法和原则

　　本次测试主要采用黑盒功能测试和静态测试的测试方法。黑盒功能测试采用手工测试的方法，主要测试内容包括：IPv6支持程度、功能实现、界面友好性。静态测试采用代码检查、技术评审等方法，主要测试内容包括：IPv6结合程度、是否开源。同时，为了保证测试结果的公平、公正和有效性，特制定了如下测试原则：每个参赛作品两个测试人员背对背打分、互不干扰；

　　所测功能一定是产品自己实现的功能，任何第三方拿过来直接使用的功能均不能算作参赛作品的功能；

　　产品功能列表中必须包含参赛作品的项目目标、创新点涉及的功能，以判断是否达到了参赛作品申报的项目目标；

　　对于相对主观的评分项（如易安装、易操作等），要求测试人员对所有参赛作品进行均衡考核后统一进行打分。

　　实施实践组参赛作品测试

　　本次大赛测试团队根据项目属性分组，每组按各自的分工对实践组所有参赛作品进行了测试。具体的测试流程总结如下：

　　1.测试前准备工作

　　在创新大赛测试前，首先确定了测试团队的人选，由涉及开发、测试及网络安全经验丰富的成员组成4个小组，每组2～3名测试人员并选出1名测试组长。之后，大赛测试总负责人向测试团队详细讲解了本次大赛的测试评分标准和具体测试方法及原则，明确了具体测试流程，并根据每个参赛项目的特点和测试小组的技术专长对21个参赛项目进行了分工，每个测试小组领取了4～6个参赛项目的测试任务。每个测试小组在组长的带领下，提前了解了各自参赛作品的项目介绍、创新点和优势等内容，列出了各自参赛作品的功能点和测试点。

　　2.参赛项目测试环境调试

　　在测试现场，各个测试小组引导参赛队伍搭建项目测试环境，准备测试机器及相关设备，协助参赛项目调试好测试环境，确保测试可以顺利进行。

　　3.参赛项目功能列表确认及评分标准宣讲

　　各个测试小组协调每个参赛项目主负责人确认其产品功能列表，填写项目创新点和优势说明，并在真实承诺书上签字。同时，各个测试小组向参赛队伍宣讲本次大赛实践组参赛作品测试的评分标准，讲解每个测试评分项及评分依据。

　　4.参赛项目测试评分

　　参赛队伍演示各自的产品功能和特性，各个测试小组依据产品的技术含量及功能实用性进行测试，每组的两名测试人员根据产品表现对各个测试评分项进行背对背的打分。为了避免评分有失公平，测试人员在所有负责项目测试结束后，对各个测试结果进行综合权衡，对各个项目的评分值进行统一的调整和确认，并在各个参赛作品的测试评分明细表上签字。

　　5.测试评分汇总统计

　　在所有参赛项目测试完成之后，大赛测试总负责人召集测试团队开会，各个测试小组上报各自的测试结果，整理出各个参赛作品的详细评分表和综合评分表。每个参赛作品的综合评分按照每组两个测试人员的评分取平均值进行计算，生成各个参赛作品的测试评分表结果，由大赛测试总负责人签字确认。最终，大赛测试总负责人整理完成创新大赛实践组参赛作品的测试报告，上报大赛评委会。

　　创新大赛测试收获体会

　　实践组决赛的测试工作从2015年12月17日下午开始到12月18日结束，持续了一天半的时间。参加本次竞赛的选手都来自全国985、211等最高学府，各参赛作品均具有较高的科技水平，测试工作在紧张激励的气氛中进行。最终，测试团队圆满的完成了测试任务，也有了很多的收获和体会。

　　针对产品技术含量的测试，主要体现在IPv6支持程度和IPv6结合程度上，具体来说体会如下：

　　首先，对IPv6的支持程度是本次大赛的一个重要考量标准，从测试结果看，2/3的参赛项目均支持IPv6访问。随着IPv6技术的普及，目前基于IPv6网络搭建一些小型的实验环境已经变得简单快捷，并且实现其通信的接口也已经相当成熟，大多数参赛团队基本都可以熟练的应用到自己的项目中去。

　　其次，对IPv6的一些深入应用在本次大赛的项目中体现的还不够，参赛项目大多数都是在“用”，而并非“改”。我们知道，由于在IPv4的报文头中包含了所有的选项，因此每个中间路由器都必须检查这些选项是否存在；而在IPv6中，相关选项被移到了扩展报文头中，中间路由器不必处理每一个可能出现的选项（在IPv6中，每个中间路由器必须处理的扩展报文头只有逐跳选项报头）。这种处理方式提高了路由器处理数据报文的速度，也提高了其转发性能。比如清华大学的IVI项目，其主要技术就体现在IPv6的扩展报头中，使用IVI的双向翻译技术，一个IPv4公有地址可以复用1024个IPv6地址，并且是可溯源的地址。在当前IPv4/IPv6的过渡时期，在IPv6中做一些创新性的开发还是会有很多亮点的，这也是本次参赛作品中所缺少的。

　　再次，本次大赛参赛作品中有多个参赛项目应用到了物联网技术。我们知道，IPv6的一大优势就是地址数量多，而这也正符合物联网对地址的需求，物联网的发展趋势与IPv6的普及程度密切相关。不过，本次大赛的部分参赛作品虽然应用了物联网技术，但还是停留在简单的局域网上，并没有使用IPv6网络，还是通过一些如485总线的纯硬件进行操控，物联网与IPv6的结合程度还有待提高。

　　针对产品功能实用性的测试，主要体现在功能实现、是否开源和界面友好性上，具体来说体会如下：

　　首先，本次大赛参赛作品中不乏很多优秀的创新作品，并且很多参赛作品都是基于软件+硬件的作品。基于软件+硬件的作品要考虑的技术层面及需要的技术储备都要更高一些，并且项目的开发量及试验工作量也更大一些。这些参赛作品的开发内容在应用层和内核层都有所涉及，并且伴随了一些驱动的调优及协议栈的自主开发等，值得大家学习参考。