1. 研究目的与意义
考试是在我们的学生时代必不可少的考验,伴随着我们度过一个又一个学年,也是是评判我们对知识的接收和理解的一个有效途径。随着国家对教育的重视,学校对教学水平的严格把关,考试的频率也会随之增多。每一场考试对于考生来说都是至关重要的,是对自己是否已经对所需要的知识进行吸收理解的评判标准,在平时的学习生活中,考试能够让考生们认识到自己真正掌握了多少知识,对自己的学习进度有着更直观的了解,高考中考之类的考试甚至可以觉得考生下一阶段的学习计划是否会有很大程度的改变。一次一次的考试积累,每一次考试成绩的进步或者退步,都会让考生意识到自己下一阶段的学习该做些什么,该如何去做,帮助学生制定更加合理的学习计划。
随着考试频率的增多,所需要的试卷试题的数量也呈现正比例增长的趋势。这对于命题老师来说无疑是一个很大的工作量。为了避免试卷试题的大规模重复,需要命题老师具有大规模的试题存储。然而,根据自身经验或者某一学校现有的试题资源,很难支撑命题老师进行大量试卷的命题工作,难以避免试题的重复以及试题类型的单一,命题老师难以保障试卷的价值以及试题所涵盖的知识点是否全面,这些问题都会成为命题老师出题成卷时的障碍。
现如今,网页试题库已经非常常见,但是对于命题教师想直接从网站上获取这些试题文件存在一定的困难。大多数网站都是同一种类型的试题存在于同一个分类中,以小题和答案的类型存在,其次,大多数理科类型的题目中都有图片作为辅助条件,在进行复制粘贴的时候会存在很多排版上的问题。因此,设计实现一套在线试题爬取系统是十分有必要的。
2. 研究内容和预期目标
本设计是针对在线试题的爬虫的实现,可以爬取在线网站上所上传的试题,标明试题的对应来源,供出题时参考使用,本设计采用前端与后端相结合,利用python语言实现。
本设计主要目的是设计基于python语言和主流爬虫框架设计并实现一个可以爬取在线试题的爬虫。
预期目标:
3. 研究的方法与步骤
该系统运用python语言进行设计,采用pysimplegui创建ui图形用户界面,将前端与后端相互独立,后端负责爬取在线试题网站中的相关试题,并接收前端发来的相关请求并返回请求,前端负责处理前端的界面和基本的数据处理,从而实现前端与后端的对接。爬虫框架采用scrapy框架进行在线试题网站的爬取,使用sqlite3软件库进行数据库的链接,数据表的创建以及数据的存储。
具体包括:
1、根据题库类型进行筛选:分别筛选出对应的不同试卷类型的试题。
4. 参考文献
[1]lutz m. learning python, fourth edition[m]. sebastopol: o' reilly media.inc, 2011.
[2]wesley j. chun. core python programming[m]. 北京: 人民邮电出版社, 2014.
[3]王珊, 萨师煊. 数据库系统概论[m]. 北京: 北京高等教育出版社, 2014.
5. 计划与进度安排
(1) 2022.1.10 ---- 2022.3.10 查阅资料,撰写开题报告,翻译英文资料
(2) 2022.3.11 ---- 2022.3.18 需求分析,熟悉开发工具
(3) 2022.3.19 ---- 2022.3.31 概要设计
