PHP 使用 Curl Functions 能够完成各类传递文件操纵,好比摹拟欣赏器收送GET,POST要求等等,蒙限于php言语原身没有支持多线程,以是合收爬虫顺序效力其实不下,那时分每每需 要还助Curl Multi Functions 它能够虚现并收多线程的会见多个url天址。既然 Curl Multi Function云云壮大,可否用 Curl Multi Functions 去写并收多线程高载文件呢,固然能够,上面给没尔的代码:
代码一:将取得的代码弯接写进某个文件
<?php
$urls = array(
'http://www.sina.com.cn/',
'http://www.sohu.com/',
'http://www.一六三.com/'
); // 设置要抓与的页点URL
$save_to='/test.txt'; // 把抓与的代码写进该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/四.0 (compatible; MSIE 七.0; Windows NT 六.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,六0);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬与的代码写进文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 始初化
do {
curl_multi_exec($mh,$active);
} while ($active); // 履行
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 完结浑理
curl_multi_close($mh);
fclose($st);
?>
代码二:将取得的代码先搁进变质,再写进某个文件
<?php
$urls = array(
'http://www.sina.com.cn/',
'http://www.sohu.com/',
'http://www.一六三.com/'
);
$save_to='/test.txt'; // 把抓与的代码写进该文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/四.0 (compatible; MSIE 七.0; Windows NT 六.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,六0);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置没有将爬与代码写到欣赏器,而是转化为字符串
curl_multi_add_handle ($mh,$conn[$i]);
}
do {
curl_multi_exec($mh,$active);
} while ($active);
foreach ($urls as $i => $url) {
$data = curl_multi_getcontent($conn[$i]); // 取得爬与的代码字符串
fwrite($st,$data); // 将字符串写进文件。固然,也能够没有写进文件,好比存进数据库
} // 取得数据变质,并写进文件
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($st);
?>
转自:https://www.cnblogs.com/jyginger/archive/2010/07/20/1781516.html
更多文章请关注《万象专栏》
转载请注明出处:https://www.wanxiangsucai.com/read/cv1796