我想用多线程网络爬虫抓取www.zillow.com,但是线...

展开全部这是类似craigslist.com的throttle机制,当你短时间内要求太多网页,主机会拒绝你的要求。可用多线程curl 如 rolling curl,加上一组假user agent及ip代理就可过关。展开全部Lock锁试试展开全部弄个vpn接到美国去就好了