如今,需要使用代理IP的地方有很多,例如网络投票、大数据分析、人工智能等领域。那么如何获取代理IP呢?很多人想到了免费代理IP,免费不用钱,岂不美哉。虽然个人不太建议使用免费代理IP,但还是给大家分享下思路方法。
一、收集网站
想要获取免费代理IP,首先得收集一些有免费代理IP的网站,然后编写代码去批量获取网站上的免费代理IP。这里就不说有哪些网站呢,自己去百度一搜,大把的有。
二、分析网站
收集到网站后,对含有免费代理IP的网页进行分析,比如总共有多少页,想要的数据是在哪里,要怎么来获取。
三、编写代码
分析完网站后,就可以开始编写代码了,这里贴出代码,仅供参考。
import requests import csv import pandas as pd from fake_useragent import UserAgent import time #获取含有免费代理IP的所有页面url def get_pageUrls(startUrl,endUrl,pageCount): page_url_list = [] # range 从1开始,所以pageCount+1,左闭右开 for i in range(1,pageCount+1): #页面URL一般由三部分组成,前半部分url+第几页+后半部分url, #有的页面URL最后以页数结尾,没有后半部分,那么endUrl设置为空字符串即可 page_url = startUrl + str(i) + endUrl page_url_list.append(page_url) return page_url_list #请求所有免费代理IP的页面url,获取免费代理IP def get_content(page_url_list): ua =UserAgent() data_list = [] for page_url in page_url_list: try: resp = requests.get(page_url, headers={User-Agent: ua.random}) #如果免费代理IP是放在表格里,可以直接使用 pandas来获取,比较简单, #若不是,则需要用BeautifulSoup,或者xpath,或正则表达式来提取 datas = pd.read_html(resp.text) # print(datas) data_list.append(datas) time.sleep(2) except: print(错误的请求URL:+page_url) # print(data_list) return data_list # 将获取到的免费代理IP保存到本地的Excel表格里,留待后用,也可以保存到TXT文本,或数据库里 def save_csv(data_list,save_path): for datas in data_list: for data in datas: # print(data) data.to_csv(sava_path,mode=a,encoding=utf-8,header=1,index=0) if __name__ == __main__: #前半部分url startUrl = #页数 pageCount = 4 #若页面URL最后是以页数结尾,后半部分url设置为空字符串 endUrl = #文件保存路径 save_path = rD:\3.xlsx page_url_list = get_pageUrls(startUrl,endUrl,pageCount) data_list = get_content(page_url_list) save_csv(data_list,save_path)也许代码不够完善,不当之处欢迎指正,希望和大家一起交流。