团队作业5——测试与发布（alpha阶段）

Deadline：

2018-5-9 10:00PM，以提交至班级博客时间为准。
根据以下要求，完成对本团队项目的测试与发布。

---

测试

请根据团队项目中软件的需求文档、功能说明、系统设计和测试计划，写出软件的测试过程和测试结果，并回答下述问题。

1. 在测试过程中总共发现了多少Bug？每个类别的Bug分别为多少个？
   • a.修复的bug；
   • b.不能重现的bug
   • c.这个产品就是这样设计的，不是bug；
   • d.没有能力修复，将来也不打算修复；
   • e.这个bug的确应该修复，但是没有时间在这个版本修复，延迟到下一个版本修复。
2. 场景测试（scenario testing），包括以下内容：
   • 你预期不同的用户会怎样使用你的软件？
   • 他们有什么需求和目标？
   • 你的软件提供的功能怎么组合起来满足他们的需要？
3. 你们在什么样的平台、硬件配置、浏览器类型等条件上对你们的软件进行测试？——测试矩阵（test matrix）
4. 非功能测试
   • 性能指标（响应时间和吞吐量，需要给出截图和测试实例以及结果）
   • 系统资源监控（CPU、内存占用情况，需要给出截图和测试实例以及结果）
   • 压力测试（不同并发用户数，需要给出截图和测试实例以及结果）
   • 疲劳度测试（测试服务器持续运行的能力，需要给出截图和测试实例以及结果）
   • 安全测试（从三个角度来看，即保密性、可用性、完整性。需要给出截图和测试实例以及结果）

   序号	所完成的测试	系统所期望的性能指标	实际测试结果	差别分析	性能问题及其改进建议
   001
   002

5. 附加题：下列的附加题基于4各标准要求中，进一步细化了要求

测试项	基本要求	细化要求	分值
性能指标	响应时间和吞吐量	除了总的响应时间的测试，还需要有性能瓶颈的分析，需要指出软件哪个模块对响应时间有严重影响，可以从计算响应时间和I/O响应时间两个部分考虑，模块的粒度越小越集中越好，需要给出截图和测试实例以及分析	5
系统资源监控	CPU、内存占用情况	与响应时间类似，需要给出哪个模块占用CPU时间和内存最多，模块的粒度越小越集中越好，需要给出截图和测试实例以及分析	5
压力测试	不同并发用户数	需要给出相应的测试脚本	5
疲劳度测试	测试服务器持续运行的能力	计算从服务开启的最长的运行时间，需要给出相应截图，可以从系统日志中查看	3
安全测试	从三个角度来看，即保密性、可用性、完整性	保密性需要从数据保密性和用户使用过程的保密性来看。保证软件有一定的防御能力，可以针对保密性攻击有抵抗能力。可用性指针对恶意攻击有一定的抵抗能力保证服务可用和鲁棒。完整性要求用户数据不被篡改，操作间互不干扰，数据的一致性能够得到一定程度上的保证。	5

6. 你认为你们团队的软件在什么条件下，就可以认定其已经足够好，可以发布Alpha版本？——出口条件（exit criteria）

参考

1. 测试的计划及执行： 
   • http://www.cnblogs.com/xinz/archive/2011/11/19/2255542.html
2. 测试报告实例：
   • http://www.cnblogs.com/buaase/p/4971390.html
3. 微信小程序/APP
   • 测试工具：XTest
   • 安装：https://github.com/TencentXTest/XTest/releases
   • 教程：
     • https://www.jianshu.com/p/aa7bd634736f
     • https://www.jianshu.com/p/21d58d68be97
   • 参考：微信小程序自动化实践
   • 手机App https://www.cnblogs.com/dsyy/p/7488845.html
4. Android 自动化测试工具Appium：http://www.uml.org.cn/mobiledev/201804231.asp?artid=20658
5. Siege是一个开源的Web压力测试和评测工具。
6. DBMonster是一个生成随机数据、用来测试SQL数据库的压力测试工具，详见http://dbmonster.kernelpanic.pl/。
7. 更多的性能测试工具，可访问http://www.opensourcetesting.org/performance.php

发布

1. 软件发布的同时，在团队博客上写一个发布说明
   • 列出这一版本的功能（在原有项目基础上开发的列出新功能）
   • 以原有项目为基础开发的，列出这一版本修复的缺陷
   • 对运行环境的要求
   • 安装方法
   • 描述系统已知的问题和限制
   • 说明软件的发布方式以及发布地址
2. 对于功能的描述除了文字以外，可以通过图片、视频等进行辅助说明。

参考

版本发布说明的实例: http://www.cnblogs.com/buaase/p/4954977.html

---

评分标准

• 按时交 - 有分（详细评分细则见下表）
• 晚交 - 0分
• 迟交两周以上 - 倒扣本次作业分数
• 抄袭 - 倒扣本次作业分数
• 如对分数有意见，只给一次向助教申诉的机会

项目	分值	备注
在测试过程中总共发现了多少Bug？每个类别的Bug分别为多少个？	10	a-e每个条目2分
你预期不同的用户会怎样使用你的软件？	2
他们有什么需求和目标？	2
你的软件提供的功能怎么组合起来满足他们的需要？	2
你们在什么样的平台、硬件配置、浏览器类型等条件上对你们的软件进行测试？	10	测试矩阵（test matrix），要求详细列出测试条目
性能指标	4
系统资源监控	4
压力测试	4
疲劳度测试	4
安全测试	4
附加题	<=15	超出15分的按照15分算，但是并不是每一项只要做了都能够得满分的
出口条件	5
列出这一版本的功能	5	如果是原有项目需要在原有项目基础上开发的列出新功能，要求图文并茂
对运行环境的要求	3	助教按照所给的运行环境信息无法正确安装或这使用该软件则该部分不给分
安装方法	3	助教按照所给的安装方法无法正确安装或这使用该软件则该部分不给分
描述系统已知的问题和限制	5
说明软件的发布方式以及发布地址	5