PHP使用curl抓取新聞數據

　　在一次做網站的時候，需要抓取一些其他網站的新聞，在這里介紹一種使用curl通過鏈接的方式去獲取這個頁面的所有內容，然后再通過正則匹配獲取需要的內容。不是所有網站都能抓取需要有頁面規律才能去抓取如下圖

　　這種有規律的新聞列表，不過新聞的詳情內容需要再次單獨的去抓取，

　　代碼：

　　$url=http：//xxxx;//https：//xxxx要抓取的鏈接新聞列表

　　$url=str_replace(''，''，$url);

　　header(content-type：text/html;charset=utf-8);

　　$ch=curl_init();

　　curl_setopt($ch，CURLOPT_URL，$url);

　　curl_setopt($ch，CURLOPT_SSL_VERIFYPEER，0);//除去https里面的s

　　curl_setopt($ch，CURLOPT_RETURANSFER，1);//關閉直接輸出

　　$html_data=curl_exec($ch);

　　curl_close($ch);//關閉會話

　　這里要確認是否抓取到了頁面的內容可以打印出來看一下

　　如果沒有抓取到要注意一下頁面的編碼格式使用iconv（）轉換一下內容編碼

　　//$html_data=iconv('gbk'，'utf-8'，$html_data);

　　$regular='#h1id=activity-name(.*？)/h1(.*？)spanid=post-date(.*？)span(.*？)/span(.*？)pclass=page-content(.*？)pclass=text(.*？)/p#is';

　　preg_match_all($regular，$html_data，$connect);//進行正規匹配取得自己要的內容

　　//循環取出需要的內容數組

　　foreach($connectas$k=$var){

　　if($k==2||$k==3||$k==5||$k==7){

　　$b=array_merge(array_filter($connect[$k]));

　　$array[]=$b;

　　}

　　}

　　得到數據數組后就可以根據需求去添加數據了

　　內容詳情需要抓取就獲取到新聞內容頁的鏈接同樣使用curl去獲取信息

　　要注意的就是正則表達式里面的html需要跟頁面的格式一樣，你可以去原網站點右鍵查看源代碼，查看格式，把要抓取的html復制下來，如果還是有不能抓取的內容可能就是格式不正確有可能有的地方是少空格或者多空格，這個時候直接在標簽之間(.*？)。也可以一點一點的匹配看具體是哪個部分沒有匹配到。

　　中企動力為客戶提供網站開發定務，網站制作居于LINUX+PHP+MYSQL框架，歡迎客戶咨詢我們建站熱線400-660-8066