集团主站
欢迎来到成都达内官方网站!达内—美国上市公司 亿元级外企IT培训企业!
成都it培训哪家好
成都it培训哪家好
全国服务监督电话:15023458194  |   联系客服   |
当前位置:主页 > 培训课程 > Python >

成都python爬虫培训教你简单的网页爬虫方法

发布者: 成都python爬虫培训     浏览次数:     发布时间:2018-06-28 11:05:14

Python爬虫前分析:成都python爬虫培训先分析其下段子的所在子页的url特点,可以轻易发现发现为“ishuo.cn/subject/”+数字,经过测试发现,该网站的反扒机制薄弱,可以轻易地爬遍其所有...

Python除了在人工智能方面被炒得火热,私下还是写爬虫的利器。今天上成都python爬虫培训写一个爬虫来简单爬一下一个段子网站页面。感兴趣的可以一起学哦。


Python爬虫目标网站:ishuo.cn


Python爬虫前分析:成都python爬虫培训先分析其下段子的所在子页的url特点,可以轻易发现发现为“ishuo.cn/subject/”+数字,经过测试发现,该网站的反扒机制薄弱,可以轻易地爬遍其所有站点。


现在利用python的re及urllib库将其所有段子扒下


import sys


import re


import urllib


#返回html格式


def gethtml(url):


page=urllib.urlopen(url)


htm=page.read()


return html


def getmessage(html):


p=re.compile ......


对内容进行正则匹配


message=re.findall(p,html)#返回正则匹配的结果


return message


fp=open('data.txt','w+')


#实际范围比1~7000要大,因为时间原因这里暂定为1~7000


for i in range(1,7000):


i=str(i)


web=gethtml(‘这里写它的网址'+i)


#该网站段子的链接特点


message=getmessage(web)


message2=''.join(message)#将结果转换为字符串类型


#message2=message2.decode('utf8','strict')


message2=str(message2)


print message2


fp.writelines(message2+'\n')


#将爬下的众多段子写入文件中fp.close()


data.txt收录了其中爬下段子的结果将部分结果写出来:


这些爬下的段子可作为很丰富的文案素材,想要学习更多python爬虫的知识,可以到成都python爬虫培训机构官方网站填写python免费5天VIP试听课获的学习机会。
(责任编辑:杨老师)
最新开班
  • 成都Java培训班
    免费试听名额发放中...
  • 成都C++培训班
    免费试听名额发放中...
  • 成都PHP培训班
    免费试听名额发放中...
  • 成都网络工程培训班
    免费试听名额发放中...
  • 成都Unity3D培训班
    免费试听名额发放中...
  • 成都大数据培训班
    免费试听名额发放中...
  • 成都uid培训班
    免费试听名额发放中...
  • 成都会计培训班
    免费试听名额发放中...
  • 成都Python培训班
    免费试听名额发放中...
  • 成都嵌入式培训班
    免费试听名额发放中...
  • 成都web培训班
    免费试听名额发放中...
  • 成都软件测试培训班
    免费试听名额发放中...
在线留言
提交

校区地址:绵阳市涪城区临园路东段68号富临大都会7栋3单元9层12号

联系电话:15023458194

公交路线:富乐路口凯德广场(10路;29路;3路;15路;11路;15a路;71路)

校区地址:成都市锦江区东大街紫东楼段35号明宇金融广场19楼1903室

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市高新区奥克斯广场蜀锦路209号一楼商铺

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都锦江区东大街芷泉街229号东方广场C座3楼303

联系电话:15023458194

公交路线:芷泉街(188路;115路;515路;236路;505路;501路;84路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:成都市武侯区佳灵路3号红牌楼广场2号写字楼11楼1115号

联系电话:15023458194

公交路线:红牌楼东(11路;92路;100路;111路;139路;g28路;快速公交K1/K2) 地铁路线:红牌楼站(地铁3号线)

校区地址:成都市锦江区红星路二段70号四川日报大厦502-2

联系电话:15023458194

公交路线:市二医院站(6路;49路;102路;5路;37路;g92路;) 地铁路线:地铁市二医院(地铁3号线)

校区地址:成都市锦江区东大街紫东段35号明宇广场2306

联系电话:15023458194

公交路线:芷泉街(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:东门大桥站(地铁2号线)

校区地址:四川省成都市武侯区高新科技孵化园9号园区E座7楼

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

校区地址:成都市成华区建设路10号万科钻石广场B座5楼

联系电话:15023458194

公交路线:建设路中(6路;14路;42路;72路;76路;1010路;)

校区地址:成都市高新区奥克斯广场B座1708

联系电话:15023458194

公交路线:益州大道锦城大道口(18路;21路;43路;48路;104路;152路;335路 ) 地铁路线:孵化园(地铁1号线)

了解达内动态
关注成都达内教育公众号

首页 | 关于达内 | 课程中心 | 专家师资 | 视频教程 | 学员空间 | 校企合作 | 新闻资讯 | 就业指导 | 网站地图

20016-2025 达内时代科技集团有限公司 版权所有 京ICP证8000853号-56