近年来由于抓取数据而引起的纠纷越来越多，有的锒铛入狱，有的被处罚金，本人爬虫笔记学习提醒大家：爬虫有风险，采集需谨慎，写代码不能违法，写代码背后也有法律风险
目录
1.1爬虫注意点
1.1.1遵守Robots协议
Robots协议，也称为爬虫协议、机器人协议等，全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉爬虫哪些页面可以抓取，哪些页面不能抓取
如何查看网站的rebots协议？
（1）打开浏览器，在地址栏中输入http://网站域名/robots.txt即可，以查询百度的robots协议为例；Disallow后边的目录是禁止所有搜索引擎搜索的
（2）或者借助相关网站进行查看，如站长工具等，浏览器打开，输入网站地址，点击查询即可
1.1.2.不过度采集数据
过度数据采集会对目标站点产生非常大的压力，可导致目标站点服务器瘫痪、不能访问等，相当于网络攻击。学习过程中抓取数据不可贪多，满足学习需求即可，损害他人权益的事不能做
1.1.3.不要采集隐私数据
有选择地采集数据，别人不让看的数据不要爬，私人数据不要爬，如手机号、身份证号、住址、个人财产等不要抓取，受法律保护的特定类型的数据或信息不能抓取
1.1.4.网站有声明”禁止爬虫采集或转载商业化”
当采集的站点有声明，禁止爬虫采集或转载商业化，请绕行，不让爬的数据不要爬
1.1.5.不得将抓取数据用于商业化使用
恶意利用爬虫技术抓取数据，进行不正当竞争，甚至牟取不法利益，会触犯法律，数据采集不得伤害他人利益
1.2.爬虫与爬虫工程师
爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，是搜索引擎的重要组成；爬虫可以用于以下场景：搜索引擎、数据分析、人工智能、薅羊毛、抢车票等
目前市面主流的爬虫产品有：神箭手、八爪鱼、造数、后羿采集器等
爬虫工程师简单点理解就是数据的搬运工
爬虫工程师的技术储备
python编程基础linux系统管理基础http协议数据库增删改查为基础爬虫技术怎么学
首先要学会基础的Python语法知识学习Python爬虫常用到的几个重要内置库Requests，用于请求网页学习正则表达式re、Xpath(lxml)等网页解析工具了解爬虫的一些反爬机制，header、robot、代理IP、验证码等了解爬虫与数据库的结合，如何将爬取的数据进行存储学习应用python的多线程、多进程进行爬取，提高爬虫效率学习爬虫的框架scrapy