山东大学软件学院创新项目实训开发日志——第11周
项目名称:ModuFusion Visionary:实现跨模态文本与视觉的相关推荐
-------项目目标:
- 本项目旨在开发一款跨模态交互式应用,用户可以上传图片或视频,并使用文本、点、框等提示,精确分割出图片或视频中指定的物体,或者无提示地分割出所有物体。
- 基于分割出的物体,用户可以选择生成感兴趣的其他图片或视频。
- 内置推荐算法可以自动根据分割结果,推荐与之相关的信息。
本周完成的任务
1、bug修复:
-
当多次进行点击或框选分割后,会偶尔出现全分割失效的情况。通过修改全分割的响应逻辑,不在判断内部变量isEverything是否为true,而是直接判断store中存储的everything,提高了响应的准确性。同时减少了全分割图片的渲染时间,优化了用户体验。
-
在Analyze板块中,当未进行分析就点击推荐时,虽会提示错误,但是图片加载遮罩仍会显示。通过修改遮罩判断位置,修复了该bug。
-
在新上传图片后或点击快速体验界面的一张图片后,Analyze板块中对图片的分析和Generate板块中生成的图片都没有更新。通过在切换新的图片后,将store中的description设置为空串,解决了Analyze中description不更新的问题;通过为Generate板块中生成的图片的url加上时间戳,解决了图片不更新的问题。
-
当点击侧边栏其他栏目切换界面后,再回到视频界面时,之前上传的视频不再显示。通过改变视频链接的初始化方式,修复了这个bug。
2、功能添加:
-
为Analyze板块推荐的图片增加了查看功能;为Generate板块生成的图片增加了查看功能,优化了用户体验。
-
新增图片下载功能:对图片分割功能新增了图片下载功能,包括分割图和原图风格迁移后的图片、图片分析板块中推荐的图片、图片生成板块中生成的图片。
-
Generate板块新功能:Generate板块生成图片时可以自行控制生成的随机种子,使得每次生成的图片可以相同也可以不同。
-
Analyze板块新功能:Analyze板块对图片分析时可以自行选择分析的模式,不同的模式分析出来的效果也会不同。
-
Analyze板块新功能:Analyze板块中推荐图片时,可以自行控制最终图片的质量(10-100),当然质量越高所需时间也会越久;同时也为推荐图片提供了可供控制的随机种子。
3、系统优化:
- 优化了前端界面:修改了视频模块中视频的上传位置,现已移至侧边栏,与图片模块中上传位置进行了统一。
下周工作计划
继续对当前系统进行优化