《Python爬虫数据分析》课程简介
python语言近年来越来越被程序相关人员喜欢和使用,因为其不仅简单容易学习和掌握,而且还有丰富的第三方程序库和相应完善的管理工具;从命令行脚本程序到gui程序,从B/S到C/S,从图形技术到科学计算,软件开发到自动化测试,从云计算到虚拟化,所有这些领域都有python的身影;python已经深入到程序开发的各个领域,供越来越多的人学习和使用。作为一种通用语言,Python几乎可以用在任何领域和场合,软件质量控制、提升开发效率、可移植性、组件集成、丰富库支持等各个方面均处于先进地位。同样学习编程语言,当然要选择学习业内目前最先进、最热门、将来应用最广泛、最有前途和前景的编程语言。
一、课程性质
本课程是针对我院大数据技术与应用、会计信息管理、人工智能技术服务、信息安全与管理、计算机信息管理等专业学生开设的一门专业核心课,主要讲解如何利用Python编写网络爬虫,爬取网上数据。从最基础的语法开始讲起,逐步进入到目前各种流行的应用。
二、课程目标
通过本课程的教学,熟练掌握Python开发环境命令,能够自己动手建立Python开发环境,熟练掌握Python字符串类型的属性和操作,能够熟练使用Python完成字符串的各种操作熟练掌握Python控制语句、标准输入、输出系统操作熟练掌握Python内建数据类型:列表、元祖、字典、集合的属性和应用方法熟练掌握Python函数的使用、编写方法,可以熟练进行模块化编程,理解爬虫的作用,掌握爬虫的原理、技术,能够使用Python熟练编写爬虫软件。
三、课程内容
1.编写定向爬虫各种技巧;2.网络爬虫的技术概况;
3.开发环境的搭建;4.网页请求基础,网页解析基础;
5.编写定向爬虫;6.下载图片与多线程爬虫;
7.模拟登录与验证码处理;8.用对反爬虫的各种策略;
9.使用IP代理;10.动态网页的爬取;
11.Selenium库;12.爬虫数据存储到数据库;
13.爬虫数据去重;14.爬虫数据处理与分析;
15.爬虫数据可视化。
四、课程优势
1.系统性
2.通俗易懂
3.实战+实例
五、实施方法
本课程采用理实一体化教学方式,“教、学、做”一体,理论与实验融合在一起,展开教学。在工作项目引领下以实践训练、项目合作等形式展开教学。