展开全部
#coding:utf-8import urllib2def url_user_agent(url): #设置使用代理 proxy = {http:27.24.158.155:84} proxy_support = urllib2.ProxyHandler(proxy) # opener = urllib2.build_opener(proxy_support,urllib2.HTTPHandler(debuglevel=1)) opener = urllib2.build_opener(proxy_support) urllib2.install_opener(opener) #添加头信息，模仿浏览器抓取网页，对付返回403禁止访问的问题 # i_headers = {User-Agent:Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/ Firefox/3.5.6} i_headers = {User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48} req = urllib2.Request(url,headers=i_headers) html = urllib2.urlopen(req)if url == html.geturl(): doc = html.read() return docreturnurl = search/category/2/10/g311doc = url_user_agent(url)print doc
展开全部 现在市面上已经很多代理软件了，个人感觉那些打着免费的口号的一些“莆田系”代理就不要考虑了，基本上不能用。我用的618Ip代理软件，他们的ip资源还挺多的，基本是满足了我工作上的需求，线路相较于国内其他一些同类软件已经是很好了。