python小技巧之批量抓取美女圖片

NO IMAGE

其中用到urllib2模組和正規表示式模組。下面直接上程式碼:

[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過urllib(2)模組下載網路內容
import urllib,urllib2,gevent
#引入正規表示式模組,時間模組
import re,time
from gevent import monkey

monkey.patch_all()

def geturllist(url):
    url_list=[]
    print url      
    s = urllib2.urlopen(url)
    text = s.read()
    #正則匹配,匹配其中的圖片
    html = re.search(r'<ol.*</ol>’, text, re.S)
    urls = re.finditer(r'<p><img src=”(. ?)jpg” /></p>’,html.group(),re.I)
    for i in urls:
        url=i.group(1).strip() str(“jpg”)
        url_list.append(url)
    return url_list

def download(down_url):
    name=str(time.time())[:-3] “_” re.sub(‘. ?/’,”,down_url)
    print name
    urllib.urlretrieve(down_url, “D:\\TEMP\\” name)

def getpageurl():
    page_list = []
    #進行列表頁迴圈
    for page in range(1,700):
        url=”http://jandan.net/ooxx/page-” str(page) “#comments”
        #把生成的url加入到page_list中
        page_list.append(url)
    print page_list
    return page_list
if __name__ == ‘__main__’:
    jobs = []
    pageurl = getpageurl()[::-1]
    #進行圖片下載
    for i in pageurl:
        for (downurl) in geturllist(i):
            jobs.append(gevent.spawn(download, downurl))
    gevent.joinall(jobs)
[/code]

程式不長才45行,不是太難,大家可以研究下,這裡我只是拋磚引玉,大家可以根據原理開發出其他的抓取程式,呵呵,自己想去吧。。。我就不多說了~~

您可能感興趣的文章:

python批量下載圖片的三種方法python實現圖片批量剪下示例利用Python批量生成任意尺寸的圖片Python實現批量下載圖片的方法Python批量按比例縮小圖片指令碼分享python通過opencv實現批量剪下圖片Python將圖片批量從png格式轉換至WebP格式python利用Guetzli批量壓縮圖片Python中用PIL庫批量給圖片加上序號的教程python實現批量修改圖片格式和尺寸