什么是爬虫？
实质是一种计算机程序，通过计算机语言开发而来，它的行为看起来就一只蜘蛛在网上面爬行工作一样，蜘蛛的英文单词：spider-爬虫的别名。
百度蜘蛛，Google蜘蛛实质就是一个或一套爬虫程序。
爬虫就是进行数据爬取，并可以进行简单的数据处理（数据清洗）操作的特殊应用程序。
爬取来源：一般是通过互联网展开而来
爬虫可以做什么？
1：收集数据
最直接，最常用的使用方法
2：尽职调查
是否在尽职的工作，很多时间，我们讲的话，写的内容，或多或少都会有一定的水份，数据是不会说谎的，可以通过“爬虫”来对发生的数据进行获取，并最终形成结果，以验证过程是否如数据所言。
3：刷流量和秒杀
爬虫的开发技术？
爬虫的开发一般有两个层面
1：“技”：通过各程语言和框架的使用来完成这个功能，这个层面更像是软件文档，目前市面上的教程大多停留在这个只教你如果通过技术来实现爬虫
2：“术”：就是方法，比如遇到反爬虫的问题，遇到一些特殊情况时，技只是支撑实现功能的基础，而术就是提供解决这些问题的思路，所以术更强调思想，流程调度。
目前要实现爬虫的语言很多，java,php,c#,python……都能够实现爬虫，为什么多采用Python实现？原因是语法相对与其他语言简单，相对于其他语言够直接，语法简单，入门容易，有强大的库支持
两个重要的库：requests、scrapy