互联网时代，有爬虫技术的加持对职场人来说无疑是如虎添翼，但是对于很多人来说，学习爬虫不是一件容易的事情。
不知道怎么学习爬虫？
不知道有哪些资源可以帮助学习爬虫？
有没有一些爬虫工具比较方便？
老DC专门给爬虫爱好者们总结了一份Python爬虫资源，包含网站博客、框架、工具，快来看看有哪些。
网站博客01 awesome-python-login-model
该项目收集了一些各大网站登陆方式和一些网站的爬虫程序，用于研究和分享各大网站的模拟登陆方式和爬虫程序。
网址：https://awesome-python
02 《Python3网络爬虫开发实战》作者博客
《python3网络爬虫与开发实战》作者，在此博客上面分享一些自己的爬虫案例和心得，内容非常丰富。网址：cuiqingcai.com
03 Scraping.pro
Scraping.pro是一个专业的采集软件测评网站，上面有各种国外比较顶尖的采集软件测评文，比如scrapy、octoparse等
网址：http://www.scraping.com/
04 Kdnuggets
相比scraping.pro，Kdnuggets涵盖范围更广，包括商业分析、大数据、数据挖掘、数据科学等。
网址：https://www.kdnuggets.com/
05 Octoparse
Octoparse是一款功能强大的免费采集软件，它的博客提供的内容比较广，浅显易懂，比较适合初步的网站采集用户。
网址：https://www.octoparse.com
06 Big Data News
Big data news和Kdnuggets类似，涵盖的范围主要是在大数据行业方面，网站采集是其下面的一个子栏目。
网址：https://www.bigdatanews
07 Analytics Vidhya
跟Big data news类似，Analytics Vidhya是一个更专业的数据采集网站，内容涵盖数据科学、机器学习、网站采集等。
网址：
爬虫框架01 Scrapy
是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
网址：https://scrapy.org
02 PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看.后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
网址：https://pyspider
03 Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
网址：http://crawley-cloud.com/
04 Portia
Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！
网址：https://portia
05 Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
网址：https://newspaper
06 Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。
网址：https://BeautifulSoup/bs4/doc/
07 Grab
Grab是一个用于构建Web刮板的Python框架。您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。
网址：http://grab-spider-user-manual
08 Cola
Cola是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。
项目地址：github.com/chineking/co
爬虫工具01 4个HTTP代理工具
（1）Fiddler
Fiddler 是 Windows 平台最好用的可视化抓包工具，也是大家最熟知的 HTTP 代理工具。
功能非常强大，除了可以清晰地了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。
链接：https://www.telerik.com/fiddler
(2)Charles
Charles 是 macOS 平台下最好用的抓包分析工具之一。同样提供GUI界面，界面简洁，基本功能包括HTTP、HTTPS 请求抓包，支持请求参数的修改，最新的 Charles 4 还支持 HTTP/2。
链接：https://www.charlesproxy.com/
(3)AnyProxy
AnyProxy 是 阿里巴巴开源的 HTTP 抓包工具，基于 NodeJS 实现。
优点是支持二次开发，可自定义请求处理逻辑，如果你会写JS的话，同时需要做一些自定义的处理，那么AnyProxy 是非常适合的。
GitHub地址：alibaba/anyproxy
(4)mitmproxy
mitmproxy 是一款基于 Python，支持 SSL 的抓包工具。它是跨平台的，而且提供的是命令行交互模式。
GitHub 地址：https://mitmproxy/
02 python爬虫工具汇总
这是关于python爬虫的工具汇总，只要你能想到的几乎都能在这儿找到。
网址：https://lartpang/spyder_tool
03 httpbin
此网站可以用作爬虫的测试（http和https），会返回爬虫机器的一些信息，也可以做在线测试。
网址：httpbin.org
04 curl to python
此网站可以将curl命令快速转为python的requests请求（其他语言也可以），而curl命令可以通过浏览器开发者工具快速获取。
网址：https://curl.trillworks.com
05 在线转换
有时我们在网页上看到是中文，但查看网页源码时显示的是unicode字符，此时需要在线unicode字符转中文。
网址：https://unicode_chinese/
06 XPath Helper
此工具是chrome的扩展程序，用于辅助分析和调试xpath。
链接：https://xpath-helper/
07 JavaScript Toggle On and Off
此工具为chrome扩展程序，用于检测目标网站哪些元素是通过JS加载的。
网址：https://toggle-on-and-off
08 EditThisCookie
此工具为chrome扩展程序，可对目标网站的cookies进行任意的操作，具体详细的用法可查看上面提供的官方文档。
网址：Getting Started with EditThisCookie
09 Postman
官方推荐使用本地应用程序代替chrome的扩展程序，因此只需在官网下载安装包即可。Postman是一款web调试和测试的工具，请求参数完全由自己控制，可模拟几乎所有类型的http请求。
网址：Postman
10 代理ip检测
做爬虫时，很多时候需要用到代理ip，此网站可以查看代理是否可用，代理ip的匿名程度，地点等信息。
网址：proxyhttp.net/check