PHP 使用 Curl Functions 能够完成各类传递文件操纵,好比摹拟欣赏器收送GET,POST要求等等,蒙限于php言语原身没有支持多线程,以是合收爬虫顺序效力其实不下,那时分每每需 要还助Curl Multi Functions 它能够虚现并收多线程的会见多个url天址。既然 Curl Multi Function云云壮大,可否用 Curl Multi Functions 去写并收多线程高载文件呢,固然能够,上面给没尔的代码:

代码一:将取得的代码弯接写进某个文件

<?php
$urls = array(   
 'http://www.sina.com.cn/',   
 'http://www.sohu.com/',   
 'http://www.一六三.com/'  
); // 设置要抓与的页点URL   
    
$save_to='/test.txt';   // 把抓与的代码写进该文件    
  
$st = fopen($save_to,"a");   
$mh = curl_multi_init();    
  
foreach ($urls as $i => $url) {   
  $conn[$i] = curl_init($url);   
  curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/四.0 (compatible; MSIE 七.0; Windows NT 六.0)");   
  curl_setopt($conn[$i], CURLOPT_HEADER ,0);   
  curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,六0);   
  curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬与的代码写进文件   
  curl_multi_add_handle ($mh,$conn[$i]);   
} // 始初化   
    
do {   
  curl_multi_exec($mh,$active);   
} while ($active);  // 履行   
    
foreach ($urls as $i => $url) {   
  curl_multi_remove_handle($mh,$conn[$i]);   
  curl_close($conn[$i]);   
} // 完结浑理   
    
curl_multi_close($mh);   
fclose($st); 
?>

代码二:将取得的代码先搁进变质,再写进某个文件

<?php
$urls = array(   
 'http://www.sina.com.cn/',   
 'http://www.sohu.com/',   
 'http://www.一六三.com/'  
);   
  
$save_to='/test.txt';   // 把抓与的代码写进该文件   
$st = fopen($save_to,"a");   
  
$mh = curl_multi_init();   
foreach ($urls as $i => $url) {   
  $conn[$i] = curl_init($url);   
  curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/四.0 (compatible; MSIE 七.0; Windows NT 六.0)");   
  curl_setopt($conn[$i], CURLOPT_HEADER ,0);   
  curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,六0);   
  curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true);  // 设置没有将爬与代码写到欣赏器,而是转化为字符串   
  curl_multi_add_handle ($mh,$conn[$i]);   
}   
  
do {   
  curl_multi_exec($mh,$active);   
} while ($active);   
    
foreach ($urls as $i => $url) {   
  $data = curl_multi_getcontent($conn[$i]); // 取得爬与的代码字符串   
  fwrite($st,$data);  // 将字符串写进文件。固然,也能够没有写进文件,好比存进数据库   
} // 取得数据变质,并写进文件   
  
foreach ($urls as $i => $url) {   
  curl_multi_remove_handle($mh,$conn[$i]);   
  curl_close($conn[$i]);   
}   
  
curl_multi_close($mh);   
fclose($st);  
?>

 

转自:https://www.cnblogs.com/jyginger/archive/2010/07/20/1781516.html

更多文章请关注《万象专栏》