很多学员来成都达内学习Python都是因为对爬虫很感兴趣，但是在学习Python爬虫之前，还需要先了解清楚爬虫的一些概念，然后再开始正式学习能更快进入状态，今天达内成都Python爬虫培训学员就来给大家分享一下爬虫的基本概念。

　　什么是网络爬虫

　　网络爬虫，也叫网络蜘蛛(Web Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。

　　网络爬虫就是根据网页的地址来寻找网页的，也就是URL。

　　举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com/

　　URL就是统一资源定位符(Uniform Resource Locator)，它的一般格式如下(带方括号[]的为可选项)：

　　protocol :// hostname[:port] / path / [;parameters][?query]#fragment

　　URL的格式由三部分组成：

　　(1)protocol：第一部分就是协议，例如百度使用的就是https协议;

　　(2)hostname[:port]：第二部分就是主机名(还有端口号为可选参数)，一般网站默认的端口号为80，例如百度的主机名就是www.baidu.com，这个就是服务器的地址;

　　(3)path：第三部分就是主机资源的具体地址，如目录和文件名等。

　　网络爬虫就是根据这个URL来获取网页信息的。

　　网络爬虫的流程

　　(1)获取网页就是给一个网址发送请求，该网址会返回整个网页的数据。类似于在浏览器中键入网址并按回车键，然后可以看到网站的整个页面。

　　(2)解析网页就是从整个网页的数据中提取想要的数据。类似于在浏览器中看到网站的整个页面，但是你想找的是产品的价格，价格就是你想要的数据。

　　(3)存储数据也很容易理解，就是把数据存储下来。我们可以存储在csv中，也可以存储在数据库中。

　　流程的技术实现

　　下面的技术实现方法都是使用Python 语言实现的，对于Java等其他语言本书并不涉及。

　　1.获取网页

　　获取网页的基础技术：request、urllib和selenium(模拟浏览器)。

　　获取网页的进阶技术：多进程多线程抓取、登录抓取、突破IP封禁和服务器抓取。

　　2.解析网页

　　解析网页的基础技术：re正则表达式、BeautifulSoup和lxml。

　　解析网页的进阶技术：解决中文乱码。

　　3.存储数据

　　存储数据的基础技术：存入txt文件和存入csv文件。

　　存储数据的进阶技术：存入MySQL数据库和存入MongoDB数据库。

　　对于上述技术不熟悉的读者也不必担心，本教程将会对其中所有的技术进行讲解，力求做到深入浅出。

　　爬虫有风险，爬取需谨慎

　　《刑法》第285条，非法获取计算机信息系统数据罪。

　　获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，处三年以下有期徒刑或者拘役，并处或者单处罚金;

　　最高处七年有期徒刑并处罚金。

　　《刑法》第285条是对爬取数据的主要定罪依据，有兴趣可以去查下中华人民共和国刑法。

　　网络爬虫的“盗亦有道”

　　再来看下网页对网络爬虫的限制，主要有两种：

　　来源审查：判断User-Agent进行限制检查来访HTTP协议头的User-Agent域，只响应浏览器或友好爬虫的访问

　　发布公告：Robots协议

　　告知所有爬虫网站的爬取策略，要求爬虫遵守

　　robots协议

　　Robots Exclusion Standard，网络爬虫排除标准。

　　作用：

　　网站告知网络爬虫哪些页面可以抓取，哪些不行

　　形式：

　　在网站根日录下的robots.txt文件

　　版权声明：文章和图片均来自公开网络，版权归作者本人所有，推送文章除非无法确认，我们都会注明作者和来源。如果出处有误或侵犯到原作者权益，请与达内成都Python培训机构网站联系删除或授权事宜。