基于Python的图书信息系统的设计与实现

发布时间：2018-08-09 09:48

【摘要】：随着数据的不断发展,人们对数据的需求量也与日俱增,对于个人或中小型企业需要的较小规模数据可以通过网络爬虫来获取。网络爬虫程序通过URL地址读取网页信息,对网页文本信息加以解析和筛选,以形成目标数据。用Python编写的网络爬虫可以使用多线程技术提高程序运行效率,通过加锁来保证所获取数据的正确性,使用数据库存储爬取的大规模数据。爬虫程序的主要应用是实现信息的聚合,为用户提供更多可选择的信息。本设计中的爬虫程序主要为用户提供多个网站的图书信息,最终以网页的形式呈现给使用者。首先从数据库读取网页地址以及相应的规则,爬虫程序结合网页规则提取数据,把数据存入到已连接的数据库中,再把这些数据写入到HTML文本中,这样便完成了整个信息的聚合过程。
[Abstract]:With the continuous development of data, the demand for data is also increasing. The smaller scale data needed by individuals or small and medium-sized enterprises can be obtained through web crawlers. The web crawler reads the web page information through the URL address and parses and filters the web page text information to form the target data. The web crawler written in Python can use multithreading technology to improve the running efficiency of the program, guarantee the correctness of the acquired data by locking, and use the database to store the large scale data crawled. The main application of crawler program is to aggregate information to provide users with more optional information. The crawler program in this design mainly provides the user with the book information of many websites, and finally presents to the user in the form of web page. First, the address of the web page and the corresponding rules are read from the database. The crawler program extracts the data in combination with the rules of the web page, stores the data into the connected database, and then writes the data into the HTML text. This completes the whole process of information aggregation.
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52

【相似文献】

相关期刊论文 前10条

1 姚竞;;面向项目的“Python程序设计”教学实践与研究[J];福建电脑;2009年07期

2 透明;;关于Python[J];程序员;2002年03期

3 王宁,汪飞星;基于Python开发气象服务器运行系统界面[J];微机发展;2003年07期

4 汤韬;;Python库简介[J];程序员;2006年06期

5 高昂;;Python近况全接触[J];程序员;2009年04期

6 郭芬;刘明;;Python垃圾收集器原理研究及应用[J];信息技术;2009年07期

7 王丽;;Python的元类编程研究[J];电脑编程技巧与维护;2011年06期

8 李爱宁;唐勇;孙晓辉;刘昕彤;;基于Python语言的3DES算法优化[J];计算机系统应用;2011年08期

9 曾浩;;Python在其它语言中的应用研究[J];大众科技;2012年07期

10 鞠文飞;曾智锐;;使用Python开发跨平台的单词助记程序[J];电脑编程技巧与维护;2012年24期

相关会议论文 前5条

1 ;Development of Python-based ArcGIS Tools for Spatially Balanced Forest Sampling Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 伊鹏跃;于哲峰;汪海;;基于Abaqus/Python的三维复合材料层压板有限元建模参数化开发[A];第17届全国复合材料学术会议（复合材料结构设计与性能表征分论坛）论文集[C];2012年

3 黄佳聪;高俊峰;;基于Python编程语言的空间动态模型集成[A];自然地理学与生态安全学术论文摘要集[C];2012年

4 于文丽;;基于Python的空间自相关模式研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年

5 郭霞;关志东;刘遂;陈萍;刘佳;王欣晶;邱太文;;基于Python的Abaqus二次开发在层压板修理模拟中的应用[A];计算机辅助工程及其理论研讨会2013(CAETS2013)论文集[C];2013年

相关重要报纸文章 前6条

1 高寿福;无所不能的灵蛇——Python[N];中华读书报;2001年

2 ·特约作者 邹肇辉;BT编程的王者[N];电脑报;2005年

3 易水;IT新词集锦（403）[N];计算机世界;2004年

4 本报记者 蒙克;颠覆传统数据库的“玩具”[N];网络世界;2009年

5 ;Ruby on Rails[N];计算机世界;2006年

6 周蓉蓉;中低端Unix直指Linux[N];计算机世界;2006年

相关硕士学位论文 前10条

1 张正阳;基于Python的户外通讯设备连接关系的挖掘研究[D];苏州大学;2015年

2 魏武斌;基于Python的灌区水情采集系统开发[D];西北农林科技大学;2015年

3 赵强;用于PCB版图审查的Python脚本子系统设计与实现[D];西安电子科技大学;2014年

4 邝洪胜;基于Python的电商导购APP设计与实现[D];华南理工大学;2015年

5 代红震;基于STAF和Python混合编程的自动化测试系统的研究和实现[D];南京邮电大学;2015年

6 刘志凯;基于Web的Python编程环境研究[D];新疆农业大学;2015年

7 赵明洪;Python程序设计题的查重研究[D];新疆农业大学;2015年

8 曹明君;基于Visual Studio与Python平台开发有限元分析结果自动后处理系统[D];青岛理工大学;2015年

9 周健;Python虚拟机内存管理的研究[D];南京大学;2014年

10 王衡;PaaS平台上Python沙箱研究[D];南京大学;2014年

，

本文编号：2173694