vLab-online项目Alpha阶段测试报告
测试发现的bug
在测试过程中发现了多少Bug？
我们在测试过程中发现的bug，根据项目结构以及项目功能分类，主要可以分为以下几个类别：
后端服务功能型bug
- 已解决的bug：
- 后端数据库查询服务器在正确查询已存在用户时，报“用户不存在错误”
- 服务器返回前端的cookie路径设置不正确，应该设置为根目录
/，但错误地设置为了/user/目录，导致后续部分请求cookie验证不通过 - 后端服务器Docker开启远程服务时没有开启TLS验证机制，导致服务器被恶意攻击
- 容器内文件系统服务，file_update接口在更新文件内容时更新了错误的内容（字符串转义存在问题）
- 容器内文件系统服务，file_content接口在获取文件内容时获取到了错误的内容（字符串转义存在问题）
- 容器内文件系统服务，拦截了数据量较大的post表单，导致大文件无法更新
- 容器内cpp语言服务在运行一定时间后出现占用大量内存导致服务崩溃
- 对于前端关闭浏览器时，后端不能及时关闭容器
- 未解决的bug（会尽快解决，并实时更新博客）：
- 容器内服务在打包文件发给前端时，没有对隐藏文件进行过滤
- 容器内Terminal服务被用户恶意关闭时，将无法继续正常提供服务
前后端接口bug
- 已解决的bug：
- 发送文件内容直接使用文本进行发送，导致后端字符串转义出现问题，应该使用二进制流进行发送
- 更换https认证机制后，后端服务使用的自签证书被浏览器拦截（解决方法：申请域名与官方证书）
- 若后端返回的数据格式为html时（非json），接口解析异常
- 不支持同时发送多个请求，部分请求会被canceled
前端功能型bug
- 已解决的bug：
- 在IDE页面点击退出项目时，不能返回到首页
- 在刚刚进入项目时容器内服务可能尚未启动，导致获取失败
- 在刚刚进入项目时容器内服务可能尚未启动，导致terminal启动失败
- 对于项目名称包含特殊字符时，编译运行会失败
- 编辑器快捷键和浏览器快捷键冲突
- IDE页面刷新页面时不能正常回到项目
- 在构建项目菜单栏里，会读到上次打开项目的文件（缓存没有清空）
- 未解决bug：
- 在退出项目后，仍在试图和cpp/python语言服务建立连接
前端用户体验型bug
- 已解决的bug：
- 文件树中没有对隐藏文件进行过滤
- 打开文件需要双击才能打开（应改成单击）
- Terminal的大小总是在怪异的改变，不停的闪烁
- 对于cpp项目和python项目没有区别对待，python不应该有编译功能
- 退出项目时会发生未知错误
- 对于直接使用错误的url访问IDE页面时，没有进行拦截，而是展示一个空壳页面，也无法返回首页
- 对于文件树右键菜单选择功能后，菜单栏仍不消失
- 当在编辑器右键向上拖拽时，会将标签页挤没
- 未解决bug：
- Terminal的最后一行有几率被挡住无法展示，但稍微放大Terminal就能够解决
- 菜单栏（右键以及下拉菜单）有滚轮，不能完全展示
- 下拉菜单栏按钮比例略显奇怪
- Terminal为黑色，尚不能进行主题调整
- 编辑器的右键菜单会被Terminal挡住
- 退出项目发生未知错误时，不能返回首页
- 修改文件名称时，回车不能确认修改
- 编译运行放的位置很诡异，编译运行时的文件选择意义不明，希望能够在使用说明中介绍
- 首页选择过滤python项目时，不能正常进行
用户场景测试
你是怎么进行场景测试（scenario testing）的？包括你预期不同的用户会怎样使用你的软件？他们有什么需求和目标？你的软件提供的功能怎么组合起来满足他们的需要？
用户层面场景模拟
用户一
- 身份：普通人/学生/初学者小白
- 占比：60%左右
- 知识：啥都不太懂，甚至可能不太懂语法，编译运行是啥
- 需求：要个能方便编写代码的软件，能够写点简单代码以及编译运行，可能会使用各式各样的浏览器
- 性格：比较中规中矩，操作基本符合规范，但有点小暴躁可能会时不时刷新页面，关闭页面重新打开
- 使用软件流程：
- 注册登录
- 新建项目，或打开已有项目
- 编写代码时，不懂语法规则，打几个初始的关键字符后，发现有自动补全提示，很欣慰
- 新建文件时感觉操作没有vscode那么方便，但还凑合，一般满意
- 编写代码时，可以跳转定义，跳转引用，甚至可以打开官方函数的定义文件，很满意
- 写完代码想要编译运行时，找半天不知道编译运行在哪，找到后又不太清楚选择文件的具体含义，稍微有点不开心
- 写着写着网络出现卡顿，想刷新下页面或者重开标签页，刷新后项目还能重新加载，很欣慰
- 写完的代码可以下载到本地，比较欣慰
- 软件需求分析：
- 拥有最基本的注册登录功能，代码自动补全功能，跳转定义等常见IDE都有的基本功能，能够解决小白的很多需求，让初学者用起来比较流畅舒适
- 对于一些核心功能的位置放置的比较隐蔽，初学者可能一开始找不到，虽然有提示，但是提示后没有辅助操作。因此可以适当增加辅助操作比如弹出菜单栏让用户更方便地操作
- 对于一些喜欢刷新的用户，我们的软件完全可以满足他们的需求。并且当遇到卡顿或者未知问题时，刷新基本上都能100%解决问题，因此该点符合用户预期
- 我们的项目对大部分主流浏览器都是支持的，因此这点也符合用户需求
用户二
- 身份：高年级学生
- 占比：30%左右
- 知识：有比较好的编程基础，使用过多款IDE
- 需求：能够方便的跨设备写代码，越方便越好，能够拥有像正常IDE一样的功能
- 性格：喜欢钻研，甚至有钻研产品bug，挖掘快捷方式，非法使用产品的兴趣
- 使用软件流程：
- 新建cpp项目，编写体量比较大的代码。代码能够实时保存，不需要用户保存，比较欣慰
- 写代码时有一些高级语法的自动补全，例如cpp项目能够对模板语法提供补全提示
- 能够跳转到库函数定义处，能够折叠括号，使代码阅读方便
- Terminal支持齐全，类似一个小型虚拟机，拥有大部分的命令，并且Terminal使用体验和本机的shell体验基本一致，比较满意
- 不支持调试功能，略有失望
- 尝试同时开多个页面多个项目进行编写，能够正常操作
- 尝试直接使用url访问项目，发现可以正常开启项目，并且尝试访问他人项目，被权限管理拦截
- 对于各项非法操作均能够进行拦截，并且引导用户前往合法页面进行合法操作
- 软件需求分析：
- 对于高年级学生，其编程基础较好，我们能够支持较高级语法的自动补全，也满足了高年级学生的需求，并且提供一些小众功能比如折叠括号，转到定义等，也符合高年级学生需求
- 支持多文件的编译运行，支持复杂项目的运行也符合用户需求
- 对于一些便捷的操作比如直接url访问也支持，能够优化用户体验，并且对于非法请求能够拦截并且引导到合法请求，既能保护项目安全，也能方便用户由异常情况向正常情况的转移
用户三
- 身份：专业人士
- 占比：10%左右
- 知识：熟悉多门编程语言，擅长开发大型项目跨语言项目，熟悉git等管理软件使用
- 需求：希望能够支持多语言项目，支持外部项目导入比如git，支持向外部项目导出比如上传到git，上传到网盘等。希望能够提供复杂的调试功能
- 性格：喜欢钻研，喜欢方便简易的软件
- 使用软件流程：
- 想要新建项目，发现只支持cpp和python项目
- 不支持多项目的编译，比如在python项目中不能对cpp进行编译，不能开发跨语言项目
- 对于git导入导出，网盘导入导出尚不支持
- 软件需求分析：
- 我们项目的定位是方便初学者使用，目前初学者需要的大部分功能已经基本实现。对于复杂的功能我们后续也会考虑上线
- 对于git项目导入导出，网盘项目导入导出，后续在beta阶段也会实现
开发者层面场景模拟
场景一
- 场景：并发测试
- 程度：轻微型并发，同时有3-8人使用软件
- 出现占比：60%以上时间均是轻微型并发
- 预期效果：
- 用户操作能够流畅
- 服务器资源尚存余量，不会漏请求，不会互相干扰
- 实际效果：
- 3-5用户并发使用流畅度与单用户使用流畅度一致，每个用户都能有100%体验
场景二
- 场景：并发测试
- 程度：中等型并发，同时有8-15人使用软件
- 出现占比：20%以上时间
- 预期效果：
- 用户操作基本流畅，可能有少数时间存在卡顿
- 服务器资源基本占满
- 实际效果：
- 服务器负担尚可，8-15人同时并发能够有90%以上的体验感
场景三
- 场景：并发测试
- 程度：高程度并发，同时有15人以上使用
- 出现效果：小于10%
- 预期效果：
- 目前服务器负担难以承受，服务器少以及配置低
- 当用户量上升时，硬盘容量会更加不足
- 需要改进：
- 项目耗资源较大，需要更多的后端服务器做支撑或者性能高服务器支撑
- 需要更大容量硬盘支撑