Python3 — Scrapy安裝

安裝方式一:

如果使用的是PyCharm則File–>Settings–>Project Interpreter,選擇綠色加號搜尋Scrapy安裝即可,如下圖:

這裡需要注意Manage Repositories可以配置成:

 

  • https://pypi.douban.com/simple/
  • http://mirrors.aliyun.com/pypi/simple/

 

安裝方式二:

現在可以通過本地安裝實現,安裝步驟如下:

1、下載與系統對應的whl檔案(下載地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

2、通過pip install XXX.whl安裝

 

在安裝的過程中會遇到各種坑,列舉如下:

坑一:

You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the ‘python -m pip install –upgrade pip’ command.

 

解決方法:

這裡其實說的很明顯,需要你升級pip執行python -m pip install –upgrade pip,這裡要特別注意如果一旦執行中途出差,一定要刪除已有的pip-10.0.1.dist-info

 

坑二:(我用的是python36,自己的錯誤資訊忘記儲存了,這裡的錯誤資訊是網上找的)

Command “d:\python\python27\python.exe -u -c “import setuptools, tokenize;__file
__=’c:\\users\\admini~1\\appdata\\local\\temp\\pip-build-9gywq7\\Twisted\\setup.
py’;f=getattr(tokenize, ‘open’, open)(__file__);code=f.read().replace(‘\r\n’, ‘\
n’);f.close();exec(compile(code, __file__, ‘exec’))” install –record c:\users\a
dmini~1\appdata\local\temp\pip-_jok3e-record\install-record.txt –single-version
-externally-managed –compile” failed with error code 1 in c:\users\admini~1\app
data\local\temp\pip-build-9gywq7\Twisted\

 

解決方法:

1、下載Twisted(下載地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/),注意下載的版本與環境一致即可

2、通過pip install TwistedXXX.whl安裝

 

坑三:

萬惡的Read Time Out

這個。。。。。。遇到了就只有喝杯咖啡,玩玩手機

 

參考資料:

Scrapy爬蟲入門教程一 安裝和基本使用 
Scrapy爬蟲入門教程二 官方提供Demo 
Scrapy爬蟲入門教程三 命令列工具介紹和示例 
Scrapy爬蟲入門教程四 Spider(爬蟲) 
Scrapy爬蟲入門教程五 Selectors(選擇器) 
Scrapy爬蟲入門教程六 Items(專案) 
Scrapy爬蟲入門教程七 Item Loaders(專案載入器) 
Scrapy爬蟲入門教程八 互動式 shell 方便除錯 
Scrapy爬蟲入門教程九 Item Pipeline(專案管道) 
Scrapy爬蟲入門教程十 Feed exports(匯出檔案) 
Scrapy爬蟲入門教程十一 Request和Response(請求和響應) 
Scrapy爬蟲入門教程十二 Link Extractors(連結提取器)