学习爬虫，我们首先要了解什么是爬虫以及它的工作流程，知己知彼，方能百战百胜嘛。当然这些大家都知道的，废话不多说，先来看看爬虫工程师必学部分。
广告笔记软件 印象笔记-在线记录笔记!高效工作,有序生活!×暂且把目标定位初级爬虫工程师，简单列一下吧：(必要部分)
熟悉多线程编程、网络编程、HTTP协议相关
开发过完整爬虫项目(最好有全站爬虫经验，这个下面会说到)
反爬相关，cookie、ip池、验证码等等
熟练使用分布式
了解企业级爬虫和个人爬虫的差异(企业级爬虫，首先在数据量上跟我们平时学习的时候爬虫，不是同一数量级，数据量大很多。其次，企业级爬虫代码一般部署到专门的爬虫服务器上，采取7*24小时运行，所以需要日志监控，异常维护。)
知道什么是深度优先，广度优先的抓取算法，及实践中的使用规则;
能分析简单网站的结构，会使用urllib，urllib2或requests库进行简单的数据抓取;
开课吧广场-人才学习交流平台