网络爬虫，也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。
网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。
爬虫还可以验证超链接和HTML代码，用于网络抓取。
环境：pycharm2017、python3.7
对于初学者来说，爬取小说是最简单的应用，而对于没有任何语法基础的人来说，清晰的逻辑往往比大段的代码更重要。
整个过程分为以下几步：
1.确定爬取目标（网页，前段页面）
2.分析代码，进行数据爬取
主要用到的是python的正则表达式，对想要爬取数据进行选择
正则表达式表
3.清洗（用python进行清洗）
replace('a','b')，用b替换a，进行初步清洗，也可以用MapReduce进行清洗。
THE END