【機器學習】深度學習開發環境搭建

NO IMAGE

工欲善其事,必先利其器。首先我們需要花費一些時間來搭建開發環境。

1.安裝python。python是人工智能開發首選語言。

2.安裝virtualenv。virtualenv可以為一個python應用創建一套隔離的運行環境,避免不同版本的python或第三方庫互相影響。類似的虛擬環境還有anaconda,anaconda自帶常用庫,因此安裝包有幾百兆,與anaconda相比,virtualenv更輕量化,只有十幾兆的大小,可定製化高,推薦virtualenv。使用virtualenv這種虛擬環境的好處是安全,如果某個版本庫裝壞了,直接刪除這個虛擬環境的文件夾即可,不必重裝系統的python。

3.安裝常用的第三方庫。常用的有numpy(科學計算)、scipy(科學計算)、matplotlib(作圖)、sciket-learn(機器學習)、keras(tensorflow的高層封裝)、tensorflow(深度學習)。使用pip速度慢的問題點這裡查看解決方法。

4.安裝CUDA和cuDNN(GPU版tensorflow)

Mac OS基於Unix,相比Windows做開發更方便,但是最大的缺點就是非常封閉,各種沙盒安全機制,可能正是由於這個原因,Google在後期的Tensorflow GPU版本中放棄了對Mac的支持。本文介紹Mac OS和Windows兩種系統中的環境搭建。Mac OS中,使用僅cpu版本的tensorflow(當然也可以安裝舊版本的支持gpu的版本,前提是你的顯卡是Nvidia的卡);Windows中,使用支持gpu版本的tensorflow。筆者目前是使用雙系統,跑普通機器學習算法和不是很深的神經網絡時使用Mac OS,跑深一些的神經網絡使用Windows,畢竟gpu比cpu快的多。(英偉達官方說計算能力3.0或更高的NVIDIA顯卡才支持gpu版tensorflow,所以安裝之前到這裡查詢一下你的顯卡的算力,如果小於3,還是老老實實安裝cpu版的吧。)

Mac OS

1.安裝python

Mac OS自帶python2.7,我們需要自己安裝python3。目前tensorflow在Mac中支持的python版本為2.7、3.4、3.5、3.6。我們使用3.6版本。下載地址:點這裡。安裝也很簡單,一直next就好了。打開終端輸入

python3

出現下面提示說明已經安裝成功:

Python 3.6.7 (v3.6.7:6ec5cf24b7, Oct 20 2018, 03:02:14)

[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] on darwin

Type “help”, “copyright”, “credits” or “license” for more information.

>>>

2.安裝virtualenv

在終端輸入:

sudo pip install –upgrade virtualenv

安裝完成,建立一個全新的 virtualenv 環境,例如我們想建立一個叫AI的開發環境,路徑為~,那麼我們輸入:

virtualenv –no-site-packages ~/AI

–no-site-packages是不復制系統python中的庫,安裝的就是一個不帶任何第三方庫的很乾淨的環境。如果想拷貝系統python中的庫,需要使用--system-site-packages

如果系統中有多個python,比如同時有python2和python3,想創建一個python2.7的環境,可以輸入:

virtualenv -p /usr/bin/python2 –no-site-packages ~/

進入這個環境:

source ~/AI/bin/activate

此時終端前綴變成

(AI) ~ $:

這時候就可以在這個環境安裝第三方庫了,系統Python環境不受任何影響。安裝時直接用pip,不需要使用sudo。例如安裝numpy:

(AI) ~ $: pip install numpy

退出環境:

(AI) ~ $: deactivate

就回到正常環境了,終端變回:

~ $:

3.安裝常用的第三方庫

進入虛擬環境:

source ~/AI/bin/activate

安裝numpy:

(AI) ~ $: pip install numpy

安裝scipy:

(AI) ~ $: pip install scipy

安裝matplotlib:

(AI) ~ $: pip install matplotlib

安裝sciket-learn:

(AI) ~ $: pip install sklearn

安裝keras:

(AI) ~ $: pip install keras

安裝tensorflow:

(AI) ~ $: pip install storage.googleapis.com/tensorflow/…

其它版本點這裡

4.測試運行

import tensorflow as tf

import numpy as np

hello=tf.constant(‘hhh’)

sess=tf.Session()

print (sess.run(hello))

如果沒有報錯說明安裝成功了。

Windows

1.安裝python

Windows不自帶python,目前tensorflow在Win中支持的python版本為3.5、3.6。我們使用3.6版本。直接下載python3.6安裝就好了。下載地址:點這裡。安裝也很簡單,一直next就好了。

添加python的環境變量:

“我的電腦”-“屬性”-“高級系統設置”-“環境變量”,在“系統變量”中選中“Path”,點“編輯”,加上python的路徑,例如“C:\Python36”。這樣就可以在命令提示符中使用python了。打開命令提示符輸入

python

出現下面提示說明已經安裝成功:

Python 3.6.7 (v3.6.7:6ec5cf24b7, Oct 20 2018, 03:02:14)

[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] on darwin

Type “help”, “copyright”, “credits” or “license” for more information.

>>>

2.安裝virtualenv

添加pip的環境變量:

環境變量“Path”中加上python\Script的路徑,例如“C:\Python36\Script”。這樣就可以在命令提示符中使用pip了。

在命令提示符輸入:

pip install –upgrade virtualenv

安裝完成,建立一個全新的 virtualenv 環境,例如我們想建立一個叫AI的開發環境,路徑為C:Users\xxx\,那麼我們輸入:

virtualenv –no-site-packages C:Users\xxx\AI

安裝完成。使用和上文Mac中類似,不再贅述。

3.安裝常用的第三方庫

和上文Mac中類似,不再贅述。只需注意tensorflow選擇win版支持gpu的版本。

pip install storage.googleapis.com/tensorflow/…

4.安裝CUDA和cuDNN

因為在Windows中我們安裝的是支持gpu的tensorflow,因此比Mac中多兩個安裝步驟。CUDA是由NVIDIA推出的通用並行計算架構,該架構使GPU能夠解決複雜的計算問題。cuDNN是NVIDIA專門針對深度神經網絡(Deep Neural Networks)中的基礎操作而設計基於GPU的加速庫。下面我們來安裝它們。

首先確保電腦安裝好了Nvidia顯卡驅動,打開控制面板—NVIDIA控制面板—幫助—系統信息—組件,如果支持CUDA會有NVCUDA.DLL 以及支持的CUDA版本。

根據查詢到的支持的CUDA版本到這裡查詢匹配的tensorflow和cuDNN版本。

注意一定要版本匹配!

注意一定要版本匹配!

注意一定要版本匹配!

根據查詢好的版本下載正確的CUDA(下載地址:點這裡)和cuDNN(下載地址:點這裡)。

CUDA下載好是exe文件,直接雙擊安裝。安裝好路徑像下面這樣”C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0″。

cuDNN下載好是一個壓縮包,裡面有3個文件夾。一個include,一個lib64,還有一個bin。把它們複製到上面CUDA的安裝文件夾(”C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0″)中。

配置環境變量,在環境變量“Path”中加上這三個路徑:

a.”C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\lib\x64

b.”C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0\bin

c.”C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0

安裝完成。

5.測試運行

import tensorflow as tf

import numpy as np

hello=tf.constant(‘hhh’)

sess=tf.Session()

print (sess.run(hello))

如果沒有報錯說明安裝成功了,如果報錯請仔細檢查版本,python版本+tensorflow版本+CUDA版本+cuDNN版本。

最後預祝大家安裝順利!

【機器學習】深度學習開發環境搭建

相關文章

【機器學習】線性迴歸sklearn實現

【機器學習】線性迴歸python實現

【機器學習】線性迴歸原理介紹

【機器學習】機器學習簡介