python爬虫服务器怎么判定是程序

展开全部

你是说服务器怎么反爬虫么?

特征:比如同 IP 高频访问、UA 不对、Cookie 不对等等,可以识别出是爬虫。

蜜罐:做一些只有爬虫能够访问到但是用户不会进入的链接,访问到蜜罐的都是爬虫。

展示:比如把网站内的重要内容换成图片,用户看到是正常的,爬虫抓回去还得做 OCR。

展开全部 工作原因接触过 .net,node.js,Python,go爬虫 ,Python 的scrapy 框架(618爬虫代理)基本上是无敌的