网站:
今天先开始基础题,注册进去就看到了
题目: 计算网页上所有数字的和
点进去待爬取的网站,发现全是数字,,,这个第一题确实简单,没啥讲的,直接 request 请求就行了,当然必须得 cookie 以及请求头还是必须得,别忘了。
点击提交,要验证一下邮箱,验证通过,就 完事了。
第二题:同样题,请求1000次
这是经过分页的,请求需要翻页,直接请求一页简单,但如果请求1000页,实现是一方面,怎么更快是更需要思考的,要不然写的爬虫也没啥用了。
这个题思路都是一样的,还是上面的写的代码,只需要将 URL 重新拼接,再去做请求,总共需要循环1000次,直接 while true 就行不过这样的话速度太慢了,可以试着自己优化一下,加线程或者直接使用协程,都是很不错的。
运行的结果,这样是直接改的,没有加任何线程或协程,时间有点长。
下面是使用协程运行的结果,33秒,快了一半。
分两次请求,使用协程库 asyncio 和 aiohttp , 没有做切片,所以就分两次请求了,应该是还可以更优化。线程跑完这个需要多少没试过,大家可以自己尝试。
建议大家也去试试,反正今天发的这个基础很简单,最好能自己手动写出来,然后想想怎么优化,可以留言讨论,包括自己的思路以及怎么更快。
有什么问题记得留言。过关的感觉还是挺爽的,后面会越来越难。
第三题:IP屏蔽1和2
还是求和,不过这次封禁ip,每个ip只能访问一次,这个题就有点恶心了,只能去找代理ip了。是比较麻烦的。下一篇再讲。