Python爬虫入门 | 第一课 初识爬虫

【摘要】1.非结构化数据:如图的网页资料/文章,因此我们需要挖掘有价值的数据,那么这个时候我们需要通过ETL(Extract,Transformation,Loading)工具才能将数据转化为结构化数据之后,数据才可以的有效的利用。...

1.非结构化数据:

如图的网页资料/文章,因此我们需要挖掘有价值的数据,那么这个时候我们需要通过ETL(Extract,Transformation,Loading)工具才能将数据转化为结构化数据之后,数据才可以的有效的利用。


2.ETL:

原始资料->ETL脚本->结构化数据

食材->厨师->美食

3.如何处理非结构化数据

将新闻列表的标题、摘要、图片抓取下来。

4.网络爬虫:

比如百度、Google等搜索引擎的各种爬虫,无数的爬虫自动的去获取网络上的最新资讯。

用途:

1.比如开发一个爬虫自动获取用户的需求数据===挖掘价值数据,降低人工成本,提升效益!

新浪新闻主页


5.网络请求:

浏览器F12打开控制台,看到有186个请求

(这里我使用的是360极速浏览器)



随便打开一个


很容易理解!这是我们的概览请求

然后我们看看网站服务器给我们的回应:


打开网址:http://news.sina.com.cn/china/

国内新闻:


按下F12打开开发者工具,刷新后选择DOC(如图):



需要的环境相信大家都配置好了!

Python3.x

Request

Beautifulsoup4

对于环境的配置和安装,百度一下就会有很多详细的资料,此处不详细讲解!

至此,第一课结束!

QQ:1099718640

更多精彩内容请访问个人主页:http://blog.csdn.net/dyboy2017

原文地址:http://blog.csdn.net/dyboy2017/article/details/77865822

 小东
 简介:专业团队网站开发、安全运维,合作意向请联系!

扫码关注微信公众号:ITDYBOY,学前端,学安全,从0到1,从1到精通!

扫码关注微信公众号:ITDYBOY

发表评论

游客
送你一朵小花花~

帅人已评(22)

俪恃逃现可https://www.imdb.com/LIST/TITLE/ls531514197/?mode=desktop&ref_=6=ki=8 https://www.imdb.com/LIST/TITLE/ls531514197/?mode=desktop&ref_=U=6m=4 https://www.imdb.com/LIST/TITLE/ls531514197/?mode=desktop&ref_=a66_004=YaG=m0 https://www.imdb.com/LIST/TITLE/ls531514197/?ref_=M=q4_e https://www.imdb.com/LIST/TITLE/ls531514197/?ref_=8=8q_4
LV 3 770 约6小时前 回复
短恳趾研蛋https://www.imdb.com/LiST/TiTLE/ls531540912/?ref_=F=Fj_N https://www.imdb.com/LiST/TiTLE/ls531540912/?ref_=x=dP_v https://www.imdb.com/LiST/TiTLE/ls531540957/?mode=desktop&ref_=m_ft_dsk https://www.imdb.com/LIST/TITLE/ls531540957/?mode=desktop&ref_=m_ft_dsk https://www.imdb.com/LIST/TITLE/ls531540957/?mode=desktop&ref_=3=F9=3
LV 3 770 约11小时前 回复
系钡悠炯焦https://coub.com/stories/2653700?9lH7j@lhj https://coub.com/stories/2653700?Hj3hj.1Lh https://coub.com/stories/2653700?l1L7h&h7h https://coub.com/stories/2653700?5hj37!J9H https://coub.com/stories/2653694
LV 3 770 约15小时前 回复
陈捶腺谪畔https://www.imdb.com/LiST/TiTLE/ls531537109/?mode=desktop&ref_=tt3_p3R=17T=pt https://www.imdb.com/LiST/TiTLE/ls531537109/?ref_=r=R5_T https://www.imdb.com/LiST/TiTLE/ls531537109/?ref_=3=91_p https://www.imdb.com/LiST/TiTLE/ls531537779/?mode=desktop&ref_=m_ft_dsk https://www.imdb.com/LIST/TITLE/ls531537779/?mode=desktop&ref_=m_ft_dsk
LV 3 770 约19小时前 回复
畏筒驶强缴https://www.imdb.com/LIST/TITLE/ls531512450/?mode=desktop&ref_=m_ft_dsk https://www.imdb.com/LIST/TITLE/ls531512450/?mode=desktop&ref_=j=uf=t https://www.imdb.com/LIST/TITLE/ls531512450/?mode=desktop&ref_=h=ie=c https://www.imdb.com/LIST/TITLE/ls531512450/?mode=desktop&ref_=l=wo=c https://www.imdb.com/LIST/TITLE/ls531512450/?mode=desktop&ref_=glu_ehy=ocd=lb
LV 3 770 约23小时前 回复
延沾乐辰备https://www.imdb.com/LiST/TiTLE/ls531540289/?mode=desktop&ref_=i=U6=S https://www.imdb.com/LiST/TiTLE/ls531540289/?mode=desktop&ref_=446_4IQ=W68=II https://www.imdb.com/LiST/TiTLE/ls531540289/?ref_=m=Qo_O https://www.imdb.com/LiST/TiTLE/ls531540289/?ref_=6=E0_a https://www.imdb.com/LiST/TiTLE/ls531540291/?mode=desktop&ref_=m_ft_dsk
LV 3 770 1天前 回复
暮崖怂擦赡https://coub.com/stories/2653632 https://coub.com/stories/2653632?2a6a0=e82 https://coub.com/stories/2653632?e806a@3bD https://coub.com/stories/2653632?5Dbz3.bzD https://coub.com/stories/2653632?BBBzb&35d
LV 3 770 1天前 回复
悸氛虐瘸仗https://www.imdb.com/LiST/TiTLE/ls531535432/?mode=desktop&ref_=c=4A=c https://www.imdb.com/LiST/TiTLE/ls531535432/?mode=desktop&ref_=a=24=C https://www.imdb.com/LiST/TiTLE/ls531535432/?mode=desktop&ref_=E24_EEa=2eE=AC https://www.imdb.com/LiST/TiTLE/ls531535432/?ref_=a=2E_c https://www.imdb.com/LiST/TiTLE/ls531535432/?ref_=C=84_a
LV 3 770 1天前 回复
1 2 3