Python3网络爬虫课程9.7Getter类

我们上一节的获取模块其实没有写完,获取的方法并没有调用,这一节呢,我们写一个Getter类,动态的调用所有以crawl_开头的方法,然后将抓取到的Proxy存储到数据库中。

Getter类就是获取器类

它定义了一个变量POOL_UPPER_THRESHOLD,表示代理池的最大数量

is_over_threshold()方法表示代理池是否已经到了最大阈值,它调用了RedisClient的count()方法来获取Proxy的数量。

run()方法西安调用is_over_threshold()方法判断是否到达阈值,然后调用Crawler类的__CrawlFunc__属性,获取到所有以crawl_开头的方法,依次通过Crawler类的get_proxies()方法来调用,最后使用RedisClient的add()方法加入到数据库。

好了,获取模块现在就写完了。