【摘要】1.非结构化数据:如图的网页资料/文章,因此我们需要挖掘有价值的数据,那么这个时候我们需要通过ETL(Extract,Transformation,Loading)工具才能将数据转化为结构化数据之后,数据才可以的有效的利用。...
1.非结构化数据:
如图的网页资料/文章,因此我们需要挖掘有价值的数据,那么这个时候我们需要通过ETL(Extract,Transformation,Loading)工具才能将数据转化为结构化数据之后,数据才可以的有效的利用。
![](http://upload-images.jianshu.io/upload_images/6661013-96b00749c488a309.png?imageMogr2/auto-orient/strip)
2.ETL:
原始资料->ETL脚本->结构化数据
食材->厨师->美食
3.如何处理非结构化数据
将新闻列表的标题、摘要、图片抓取下来。
4.网络爬虫:
比如百度、Google等搜索引擎的各种爬虫,无数的爬虫自动的去获取网络上的最新资讯。
用途:
1.比如开发一个爬虫自动获取用户的需求数据===挖掘价值数据,降低人工成本,提升效益!
新浪新闻主页
![](http://upload-images.jianshu.io/upload_images/6661013-cb5e9fe5d8814b29.png?imageMogr2/auto-orient/strip)
5.网络请求:
浏览器F12打开控制台,看到有186个请求
(这里我使用的是360极速浏览器)
![](http://upload-images.jianshu.io/upload_images/6661013-e0c542dc34c59abf.png?imageMogr2/auto-orient/strip)
随便打开一个
![](http://upload-images.jianshu.io/upload_images/6661013-4659143bffa3db67.png?imageMogr2/auto-orient/strip)
很容易理解!这是我们的概览请求
然后我们看看网站服务器给我们的回应:
![](http://upload-images.jianshu.io/upload_images/6661013-cebe26ff3e4b5a97.png?imageMogr2/auto-orient/strip)
国内新闻:
![](http://upload-images.jianshu.io/upload_images/6661013-51405c56881e49c3.png?imageMogr2/auto-orient/strip)
按下F12打开开发者工具,刷新后选择DOC(如图):
![](http://upload-images.jianshu.io/upload_images/6661013-538acbc82bd5fb95.png?imageMogr2/auto-orient/strip)
![](http://upload-images.jianshu.io/upload_images/6661013-8a5ac6f1bacbaf15.png?imageMogr2/auto-orient/strip)
需要的环境相信大家都配置好了!
Python3.x
Request
Beautifulsoup4
对于环境的配置和安装,百度一下就会有很多详细的资料,此处不详细讲解!
至此,第一课结束!
QQ:1099718640
更多精彩内容请访问个人主页:http://blog.csdn.net/dyboy2017
原文地址:http://blog.csdn.net/dyboy2017/article/details/77865822
小东
简介:专业团队网站开发、安全运维,合作意向请联系!
发表评论