很多人会认为爬虫工作和代理IP是形影不离的，爬虫一定要使用代理。而事实并非如此，爬虫不用代理也是可以的。爬虫程序本质上就是模仿访问网站的用户而已，对服务器来说，这类特殊的用户往往会不守规矩，增加服务器压力，所以网站总是用各种手段发现和禁止。在一些情况下，不使用代理也可以爬虫，和神龙IP一起来看看吧~
爬虫一定要使用代理IP吗？
一、业务量很小
业务量很小的爬虫工作，有时候并不需要使用代理IP就可以完成，比如爬取几百篇文章，用个火车头就轻松解决了；或者对工作效率没有太大的要求，可以模拟人工正常访问速度慢慢的爬。
二、反爬策略弱
有些网站没有反爬虫策略，那么就不需要使用代理IP也可以正常地进行爬虫工作，不过建议还是不要太放肆了，以免造成网站服务器崩溃；有的网站反爬虫策略非常薄弱，可能不需要代理IP也可以正常地进行爬虫工作。
三、访问频率低
反爬虫策略最常见的方式就是判断单IP的访问频率，因为普通用户访问网页的频率是不会很快的。你可以选择采取降低访问频率的方法避免被服务器发现，但是如果爬虫和一个普通用户的访问频率、访问逻辑差不多的话，那么爬虫也就没多大的存在意义了。