PHP网络爬虫之CURL学习

PHP的CURL

php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。

这个时候有人就要发问了：为什么你特么不用file_get_contents?

curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。

下面先分别介绍一些常用的函数。

curl_init 初始化一个curl对话curl_setopt 设置curl参数，即传输选项curl_exec 执行请求curl_close 关闭一个curl对话

主要是上面四个

curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码curl_errror 返回一个保护当前会话最近一次错误的字符串

下面直接上实例吧，相关解释都在注释里面

1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出

<?php /** * 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出 */ $curlobj = curl_init(); // 初始化 curl_setopt($curlobj, CURLOPT_URL, ""); // 设置访问网页的URL curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来 $output=curl_exec($curlobj); // 执行 curl_close($curlobj); // 关闭cURL echo str_replace("百度","屌丝",$output); ?> 1 2 3 4 5 6 7 8 9 10 11

2. 通过调用WebService查询北京的当前天气

<?php /** * 实例描述：通过调用WebService查询北京的当前天气 */ $data = theCityName=北京; $curlobj = curl_init(); curl_setopt($curlobj, CURLOPT_URL, ""); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); $rtn = curl_exec($curlobj); if(!curl_errno($curlobj)){ // $info = curl_getinfo($curlobj); // print_r($info); echo $rtn; } else { echo Curl error:. curl_error($curlobj); } curl_close($curlobj); ?> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

3. 模拟需要登录的网址并抓取网页的内容

<?php /** * 实例描述：模拟需要登录的网址并抓取网页的内容 */ $data=array(username => promonkey, password => 1q2w3e, remember=>1); [email protected]&password=1q2w3e&remember=1; $curlobj = curl_init(); // 初始化 curl_setopt($curlobj, CURLOPT_URL, ""); // 设置访问网页的URL curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来 // Cookie相关设置，这部分设置需要在所有会话开始之前设置 date_default_timezone_set(PRC); // 使用Cookie时，必须先设置时区 curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转 curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); curl_exec($curlobj); // 执行 curl_setopt($curlobj, CURLOPT_URL, ""); curl_setopt($curlobj, CURLOPT_POST, 0); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml" )); $output=curl_exec($curlobj); // 执行 curl_close($curlobj); // 关闭cURL echo $output; ?> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

<?php /** * 实例描述：登录网站的信息抓取并下载个人空间页面 * 自定义实现页面链接跳转抓取 * */ [email protected]&password=123qwe&remember=1; $curlobj = curl_init(); // 初始化 curl_setopt($curlobj, CURLOPT_URL, ""); // 设置访问网页的URL curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来 // Cookie相关设置，这部分设置需要在所有会话开始之前设置 date_default_timezone_set(PRC); // 使用Cookie时，必须先设置时区 curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); curl_setopt($curlobj, CURLOPT_HEADER, 0); // 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open_basedir，对服务器安全不利 //curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8", "Content-length: ".strlen($data) )); curl_exec($curlobj); // 执行 curl_setopt($curlobj, CURLOPT_URL, ""); curl_setopt($curlobj, CURLOPT_POST, 0); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml" )); $output=curl_redir_exec($curlobj); // 执行 curl_close($curlobj); // 关闭cURL echo $output; /** * 自定义实现页面链接跳转抓取 */ function curl_redir_exec($ch,$debug="") { static $curl_loops = 0; static $curl_max_loops = 20; if ($curl_loops++ >= $curl_max_loops) { $curl_loops = 0; return FALSE; } curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $data = curl_exec($ch); // 分割返回的内容 $h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE); $header = substr($data,0,$h_len); $data = substr($data,$h_len - 1); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); if ($http_code == 301 || $http_code == 302) { $matches = array(); preg_match(/Location:(.*?)\n/, $header, $matches); $url = @parse_url(trim(array_pop($matches))); // print_r($url); if (!$url) { //couldnt process the url to redirect to $curl_loops = 0; return $data; } $last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL)); if (!isset($url[scheme])) $url[scheme] = $last_url[scheme]; if (!isset($url[host])) $url[host] = $last_url[host]; if (!isset($url[path])) $url[path] = $last_url[path]; $new_url = $url[scheme] . :// . $url[host] . $url[path] . (isset($url[query])??.$url[query]:); curl_setopt($ch, CURLOPT_URL, $new_url); return curl_redir_exec($ch); } else { $curl_loops=0; return $data; } } ?> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83

从FTP服务器下载一个文件到本地

<?php /** * 实例描述：把本地文件上传到FTP服务器上 */ $curlobj = curl_init(); $localfile = ftp01.php; $fp = fopen($localfile, r); curl_setopt($curlobj, CURLOPT_URL, "ftp://192.168.1.100/ftp01_uploaded.php"); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300s curl_setopt($curlobj, CURLOPT_USERPWD, "peter.zhou:");//FTP用户名：密码 //上传和下载主要是下面子三个参数不一样 curl_setopt($curlobj, CURLOPT_UPLOAD, 1); curl_setopt($curlobj, CURLOPT_INFILE, $fp); curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile)); $rtn = curl_exec($curlobj); fclose($fp); if(!curl_errno($curlobj)){ echo "Uploaded successfully."; } else { echo Curl error:. curl_error($curlobj); } curl_close($curlobj); ?> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

6.下载网络上面的一个HTTPS的资源

<?php /** * 实例描述：下载网络上面的一个HTTPS的资源 */ $curlobj = curl_init(); // 初始化 curl_setopt($curlobj, CURLOPT_URL, ""); // 设置访问网页的URL curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来 // 设置HTTPS支持 date_default_timezone_set(PRC); // 使用Cookie时，必须先设置时区 curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查从证书中检查SSL加密算法是否存在 curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2); // $output=curl_exec($curlobj); // 执行 curl_close($curlobj); // 关闭cURL echo $output; ?> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

原生PHP模拟http请求

有时候为了简单模拟一个http请求，这样就去用curl有点浪费，其实php自身已经可以实现这个功能，

需要在服务器端模拟 POST/GET 等请求，也就是在 PHP 程序中去实现模拟，改怎么做到呢？或者说，在 PHP 程序里，给你一个数组，如何将这个数组 POST/GET 到另外一个地址呢？当然，使用 CURL 很容易办到，那么如果不使用 CURL 库，又该怎么办呢？其实，在 PHP 里已经有相关的函数实现了，这个函数就是接下来要讲的 stream_context_create()。

直接 show you the code，这是最好的方法：

$data = array( foo=>bar, baz=>boom, site=>www.nowamagic.net, name=>nowa magic); $data = http_build_query($data); //$postdata = http_build_query($data); $options = array( http => array( method => POST, header => Content-type:application/x-www-form-urlencoded, content => $data //timeout => 60 * 60 // 超时时间（单位:s） ) ); $url = ""; $context = stream_context_create($options); $result = file_get_contents($url, false, $context); echo $result; 的代码为： $data = $_POST; echo <pre>; print_r( $data ); echo </pre>; 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

运行结果为：

Array ( [foo] => bar [baz] => boom [site] => www.nowamagic.net [name] => nowa magic ) 1 2 3 4 5 6 7

一些要点讲解：

以上程序用到了 http_build_query() 函数，构造URL字符串。stream_context_create() 是用来创建打开文件的上下文件选项的，比如用POST访问，使用代理，发送header等。就是 创建一个流，再举一个例子吧：$context = stream_context_create(array( http => array( method => POST, header => sprintf("Authorization: Basic %s\r\n", base64_encode($username.:.$password)). "Content-type: application/x-www-form-urlencoded\r\n", content => http_build_query(array(status => $message)), timeout => 5, ), )); $ret = file_get_contents( false, $context); 1 2 3 4 5 6 7 8 9 10 stream_context_create创建的上下文选项即可用于流(stream)，也可用于文件系统(file system)。对于像 file_get_contents、file_put_contents、readfile直接使用文件名操作而没有文件句柄的函数来说更有用。stream_context_create增加header头只是一部份功能，还可以定义代理、超时等。这使得访问web的功能不弱于curl。stream_context_create() 作用：创建并返回一个文本数据流并应用各种选项，可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程。stream_context_create 还能通过增加 timeout 选项解决file_get_contents超时处理：$opts = array( http=>array( method=>"GET", timeout=>60, ) ); //创建数据流上下文 $context = stream_context_create($opts); $html =file_get_contents( false, $context); //fopen输出文件指针处的所有剩余数据: //fpassthru($fp); //fclose()前使用