bl双性强迫侵犯h_国产在线观看人成激情视频_蜜芽188_被诱拐的少孩全彩啪啪漫画

數據提取時用xpath還是正則表達式呢

這篇文章給大家分享的是有關數據提取時用xpath還是正則表達式呢的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

創新互聯建站專注為客戶提供全方位的互聯網綜合服務，包含不限于網站建設、網站設計、麻江網絡推廣、小程序設計、麻江網絡營銷、麻江企業策劃、麻江品牌公關、搜索引擎seo、人物專訪、企業宣傳片、企業代運營等，從售前售中售后，我們都將竭誠為您服務，您的肯定，是我們最大的嘉獎；創新互聯建站為所有大學生創業者提供麻江建站搭建服務，24小時服務熱線：18980820575，官方網址：vcdvsql.cn

xpath和正則表達式是數據提取時最常用的兩種方法，究竟用哪個好呢？

測試代碼如下所示，實驗目標是同一HTML文檔，分別使用webscrpaing庫中的xpath，lxml庫中的xpath以及正則表達式提取100次，統計各方法的用時：

view plain copy to clipboard print ?

  1. # coding: utf-8  

  2. # xpath_speed_test.py  

  3.   

  4. import re  

  5. import time  

  6. from lxml import etree  

  7. from webscraping import common, download, xpath  

  8.   

  9. TEST_TIMES = 100  

  10.   

  11. def test():  

  12.     url = 'http://hotels.ctrip.com/international/washington26363'  

  13.     html = download.Download().get(url)  

  14.     html = common.to_unicode(html)  

  15.       

  16.     # 測試webscraping庫的xpath提取速度  

  17.     start_time = time.time()  

  18.     for i in range(TEST_TIMES):  

  19.         for hid, hprice in zip(xpath.search(html, '//div[@class="hlist_item"]/@id'), xpath.search(html, '//div[@class="hlist_item_price"]/span')):  

  20.             #print hid, hprice  

  21.             pass  

  22.     end_time = time.time()  

  23.     webscraping_xpath_time_used = end_time - start_time  

  24.     print '"webscraping.xpath" time used: {} seconds.'.format(webscraping_xpath_time_used)  

  25.       

  26.       

  27.     # 測試lxml庫xpath提取速度  

  28.     start_time = time.time()  

  29.     for i in range(TEST_TIMES):  

  30.         root = etree.HTML(html)  

  31.         for hlist_div in root.xpath('//div[@class="hlist_item"]'):  

  32.             hid = hlist_div.get('id')  

  33.             hprice = hlist_div.xpath('.//div[@class="hlist_item_price"]/span')[].text  

  34.             #print hid, hprice  

  35.             pass  

  36.     end_time = time.time()  

  37.     lxml_time_used = end_time - start_time  

  38.     print '"lxml" time used: {} seconds.'.format(lxml_time_used)  

  39.       

  40.     # 測試正則表達式的速度  

  41.     start_time = time.time()  

  42.     for i in range(TEST_TIMES):  

  43.         for hid, hprice in zip(re.compile(r'class="hlist_item" id="(\d+)"').findall(html), re.compile(r'<div class="hlist_item_price"><dfn>&yen;</dfn><span>([\d\.]+)</span>').findall(html)):  

  44.             #print hid, hprice  

  45.             pass  

  46.     end_time = time.time()  

  47.     re_time_used = end_time - start_time  

  48.     print '"re" time used: {} seconds.'.format(re_time_used)  

  49.       

  50.       

  51. if __name__ == '__main__':  

  52.     test()  

運行結果如下：

數據提取時用xpath還是正則表達式呢

view plain copy to clipboard print ?

  1. "webscraping.xpath" time used: 100.677000046 seconds.  

  2. "lxml" time used: 2.09100008011 seconds.  

  3. "re" time used: 0.138999938965 seconds.  

結果很震撼：

  • 正則表達式只用了0.14秒；

  • lxml的xpath用了2.1秒；

  • webscraping的xpath用了101秒！

由于xpath簡單而且靈活，我們在爬蟲開發的時候一般都會首選，但是通過這個實驗發現它的效率遠低于正則表達式，尤其是webscrpaing庫中的xpath速度更是慢得恐怖。

因此，在我們的爬蟲開發過程中，應該首選正則表達式，如果用正則表達式實在難于實現，再考慮xpath，另外，在使用xpath的時候一定要選用高效的庫，比如lxml。特別是在數據量特別大的時候，效率顯得尤為重要。

感謝各位的閱讀！關于“數據提取時用xpath還是正則表達式呢”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！

文章題目：數據提取時用xpath還是正則表達式呢
瀏覽地址：http://vcdvsql.cn/article24/poddje.html

成都網站建設公司_創新互聯，為您提供商城網站、外貿建站、建站公司、軟件開發、企業建站、網站設計

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

成都網站建設