展示设计的分类论文-基于知乎热点问题数据分析系统的设计与实现

本科毕业设计（论文）任务函

毕业设计（论文）题目

基于知乎热点问题数据分析系统的设计与实现

毕业设计（论文）的主要任务和目标：

（1）查阅国内外研究数据分析领域的参考资料，了解数据分析的研究现状和技术发展

（二）能够考虑和评估该制度的经济成本或效益、对个人和社会的影响，并了解应承担的责任。

（3）学习Python最基本的爬虫，掌握各种爬虫技巧，处理遇到的bug。深入学习Scrapy框架，构建工程化爬虫

(4)分析系统需要提供主动抓取、问题分类、处理存储和可视化显示等操作，因此本系统采用前后端分离技术，前端程序提供用户交互界面和提供服务接口的后端程序。

(5)利用爬虫框架从知乎网站获取数据实时更新数据，同时对爬取的问题或答案进行分类分析。 使用词云、图表等可视化数据。

(6)完成系统的测试部署。

毕业设计（论文）主要内容：

（1）结合国内外研究现状，从多个方面分析数据分析系统的社会需求并分析其可行性卡通人物，掌握数据分析研究和技术发展的现状。

（2）利用爬虫框架从知乎网站获取数据，爬取热门问答。

（3）学习使用NLP自然语言处理来分析评论的情感。

（4）利用词云、图表等直观展示数据。

（5）在系统开发过程中，积累项目开发经验，提高自身的开发和学习能力。

毕业设计（论文）基本要求：

（1）针对数据分析系统开发涉及的相关内容，通过广泛查阅国内外相关文献，掌握数据分析的研究现状； 使用毕业设计网站作为毕业设计

（二）严格按照毕业设计进度要求，按时完成计划工作；

（3）综合运用本专业基础知识，具有独立学习能力和良好的动手实践能力；

（四）开发过程遵守工程职业道德和计算机领域专业标准，论文撰写遵守学术道德，对引用他人成果有说明；

（5）独立完成毕业论文的写作。 论文论点明确，分析讨论清晰，论据充分。 字数不应少于10000字。

主要参考文献（外文至少2篇，中文3篇）：

[1]安子健. 基于Scrapy框架的网络爬虫实现及数据抓取分析[D]. 吉林大学，2017。

[2] 赵鲁草，饶家栋。 基于Python的二手房数据爬取与分析[J]. 计算机知识与技术，2019，15(19)：1-3。

[3] 孙宇. 基于Scrapy框架的网络爬虫系统设计与实现[D]. 北京交通大学，2019。

[4] 丁忠祥，杨艳红展示设计的分类论文，杜艳明。 基于Scrapy框架的影视信息爬取设计与实现[J]. 北京印艺学院学报, 2018, 26(09): 92-97.

[5]韩蓓，马明东，王德宇。 基于Scrapy框架的爬虫与反爬虫研究[J]. 计算机技术与发展, 2019, 29(02): 139-142.

[6] 李刚. 疯狂Python讲义[M]. 电子工业出版社，2018，12(01)。

洛安然，林珊珊。 基于Python的网页数据爬虫设计与数据排序[J]. 信息技术，互联网技术2020，19:94-95+31。

[7] 王丛宇，石红利，赵伟，基于Python和商业智能的百年奥运会数据可视化分析[J]. 社会科学二； 信息技术。 2021年，5：89-91。

[8]刘震. 大数据环境下基于Spark的水库管理系统研究[D]. 西安石油大学. 2020.

[9]Thusoo A，Sarma JS，Jain N，等。 Hive：基于 Map-Reduce 框架的仓库使用解决方案[J]. VLDB 捐赠基金会议记录吉祥物，2009 年，2(2)：1626-1629。

[10]信息技术-数据分析； 咸阳师范大学数据分析研究成果报告概要（基于Hadoop的海量数据分析处理平台研究）[J]. 计算机、网络与通信，2018，07(05)：3 -7。

[10]

日程

1 选择主题，查阅相关文献和信息进行实时推荐，收集相关数据 2022.03.08-2022.03.24

2规划日程，撰写任务说明书和提案报告展示设计的分类论文，完成提案报告 2022.03.25-2022.03.31

3 进行需求分析并进行系统总体设计 2022.04.01-2022.05.09

4完成中期检查2022.05.10-2022.05.17

5 进行系统调试并撰写论文 2022.05.18-2022.05.20

6 完善制度，修改论文，检查抄袭 2022.05.21-2022.05.30

7 毕业设计答辩 2022.06.11-2022.06.13

8提交修改后的毕业论文 2022.06.14-2022.06.16