大数据时代,如何形成大数据。
大用户量,每天很多日志。
搞个爬虫,抓几十亿数据过来分析分析。
并不是只有Python才能做爬虫,Java照样可以。
本课程将带领大家一步一步编写爬虫程序,爬到我们想要的数据,非登陆的或者需要登陆的都爬下来。
学完本课程将学员培养成为合格的Java网络爬虫工程师,并能胜任相关爬虫工作;
学完能够熟练使用XPath表达式进行信息提取;
学完掌握抓包技术,掌握屏蔽的数据信息如何进行提取,自动模拟进行Ajax异步请求数据;
熟练掌握jsoup提取网页数据。
selenium进行控制浏览器抓取数据。
课程大纲
HttpURLConnection用法详解
静态网页抓取
jsoup解析提取网页信息
模拟ajax进行POST请求抓取数据
模拟登陆网站抓取数据
selenium抓取网页实战
htmlunit抓取动态网页数据
IP代理池构建
多线程抓取实战
WebMagic框架实战爬虫
课程地址: