最近一门课搞的项目需要爬取推特, 但是我现在在国内,遇到了推文爬取不到的问题,在这里记录一下我是怎么解决的。
wsl2和windows是两套独立的网络,只在windows里开代理,wsl2里是爬不到推文的。
首先我们在wsl里通过全局变量设置代理127.0.0.1,端口是代理端口。
然后在Clash里打开允许局域网。如果使用其他种类的代理也打开允许局域网相似的功能。
ping一下狗看看能不能访问
现在我们的wsl可以正常访问了,但是程序还不行。我们需要配置twitter4j的代理。先用
cat /etc/resolv.conf找到windows的ip。
然后修改twitter4j的配置文件。打开twitter4j.properties,在key后面加上
保存后运行一下自己的代码,已经可以正常爬取到推特啦