python MongoDB

NO IMAGE
1 Star2 Stars3 Stars4 Stars5 Stars 給文章打分!
Loading...

MongoDB儲存

在這裡我們來看一下Python3下MongoDB的儲存操作,在本節開始之前請確保你已經安裝好了MongoDB並啟動了其服務,另外安裝好了Python的PyMongo庫。

連線MongoDB

連線MongoDB我們需要使用PyMongo庫裡面的MongoClient,一般來說傳入MongoDB的IP及埠即可,第一個引數為地址host,第二個引數為埠port,埠如果不傳預設是27017。

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

這樣我們就可以建立一個MongoDB的連線物件了。

另外MongoClient的第一個引數host還可以直接傳MongoDB的連線字串,以mongodb開頭,例如:

client = MongoClient('mongodb://localhost:27017/')

可以達到同樣的連線效果。

指定資料庫

MongoDB中還分為一個個資料庫,我們接下來的一步就是指定要操作哪個資料庫,在這裡我以test資料庫為例進行說明,所以下一步我們需要在程式中指定要使用的資料庫。

db = client.test

呼叫client的test屬性即可返回test資料庫,當然也可以這樣來指定:

db = client['test']

兩種方式是等價的。

指定集合

MongoDB的每個資料庫又包含了許多集合Collection,也就類似與關係型資料庫中的表,下一步我們需要指定要操作的集合,在這裡我們指定一個集合名稱為students,學生集合。還是和指定資料庫類似,指定集合也有兩種方式。

collection = db.students

collection = db['students']

插入資料

接下來我們便可以進行資料插入了,對於students這個Collection,我們新建一條學生資料,以字典的形式表示:

student = {
   'id': '20170101',
   'name': 'Jordan',
   'age': 20,
   'gender': 'male'
}

在這裡我們指定了學生的學號、姓名、年齡和性別,然後接下來直接呼叫collection的insert()方法即可插入資料。

result = collection.insert(student)
print(result)

在MongoDB中,每條資料其實都有一個_id屬性來唯一標識,如果沒有顯式指明_id,MongoDB會自動產生一個ObjectId型別的_id屬性。insert()方法會在執行後返回的_id值。

執行結果:

5932a68615c2606814c91f3d

當然我們也可以同時插入多條資料,只需要以列表形式傳遞即可,示例如下:

student1 = {
   'id': '20170101',
   'name': 'Jordan',
   'age': 20,
   'gender': 'male'
}
student2 = {
   'id': '20170202',
   'name': 'Mike',
   'age': 21,
   'gender': 'male'
}
result = collection.insert([student1, student2])
print(result)

返回的結果是對應的_id的集合,執行結果:

[ObjectId('5932a80115c2606a59e8a048'), ObjectId('5932a80115c2606a59e8a049')]

實際上在PyMongo 3.X版本中,insert()方法官方已經不推薦使用了,當然繼續使用也沒有什麼問題,官方推薦使用insert_one()和insert_many()方法將插入單條和多條記錄分開。

student = {
   'id': '20170101',
   'name': 'Jordan',
   'age': 20,
   'gender': 'male'
}
result = collection.insert_one(student)
print(result)
print(result.inserted_id)

執行結果:

<pymongo.results.InsertOneResult object at 0x10d68b558>
5932ab0f15c2606f0c1cf6c5

返回結果和insert()方法不同,這次返回的是InsertOneResult物件,我們可以呼叫其inserted_id屬性獲取_id。

對於insert_many()方法,我們可以將資料以列表形式傳遞即可,示例如下:

student1 = {
   'id': '20170101',
   'name': 'Jordan',
   'age': 20,
   'gender': 'male'
}
student2 = {
   'id': '20170202',
   'name': 'Mike',
   'age': 21,
   'gender': 'male'
}
result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

insert_many()方法返回的型別是InsertManyResult,呼叫inserted_ids屬性可以獲取插入資料的_id列表,執行結果:

<pymongo.results.InsertManyResult object at 0x101dea558>
[ObjectId('5932abf415c2607083d3b2ac'), ObjectId('5932abf415c2607083d3b2ad')]

查詢

插入資料後我們可以利用find_one()或find()方法進行查詢,find_one()查詢得到是單個結果,find()則返回多個結果。

result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)

在這裡我們查詢name為Mike的資料,它的返回結果是字典型別,執行結果:

<class'dict'>
{'_id': ObjectId('5932a80115c2606a59e8a049'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

可以發現它多了一個_id屬性,這就是MongoDB在插入的過程中自動新增的。

我們也可以直接根據ObjectId來查詢,這裡需要使用bson庫裡面的ObjectId。

from bson.objectid import ObjectId
result = collection.find_one({'_id': ObjectId('593278c115c2602667ec6bae')})
print(result)

其查詢結果依然是字典型別,執行結果:

{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

當然如果查詢結果不存在則會返回None。

對於多條資料的查詢,我們可以使用find()方法,例如在這裡查詢年齡為20的資料,示例如下:

results = collection.find({'age': 20})
print(results)
for result in results:
   print(result)

執行結果:

<pymongo.cursor.Cursor object at 0x1032d5128>
{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278c815c2602678bb2b8d'), 'id': '20170102', 'name': 'Kevin', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278d815c260269d7645a8'), 'id': '20170103', 'name': 'Harden', 'age': 20, 'gender': 'male'}

返回結果是Cursor型別,相當於一個生成器,我們需要遍歷取到所有的結果,每一個結果都是字典型別。

如果要查詢年齡大於20的資料,則寫法如下:

results = collection.find({'age': {'$gt': 20}})

在這裡查詢的條件鍵值已經不是單純的數字了,而是一個字典,其鍵名為比較符號$gt,意思是大於,鍵值為20,這樣便可以查詢出所有年齡大於20的資料。

在這裡將比較符號歸納如下表:

符號含義示例
$lt小於{‘age’: {‘$lt’: 20}}
$gt大於{‘age’: {‘$gt’: 20}}
$lte小於等於{‘age’: {‘$lte’: 20}}
$gte大於等於{‘age’: {‘$gte’: 20}}
$ne不等於{‘age’: {‘$ne’: 20}}
$in在範圍內{‘age’: {‘$in’: [20, 23]}}
$nin不在範圍內{‘age’: {‘$nin’: [20, 23]}}

另外還可以進行正則匹配查詢,例如查詢名字以M開頭的學生資料,示例如下:

results = collection.find({'name': {'$regex': '^M.*'}})

在這裡使用了$regex來指定正則匹配,^M.*

或者統計符合某個條件的資料:

count = collection.find({'age': 20}).count()
print(count)

排序

可以呼叫sort方法,傳入排序的欄位及升降序標誌即可,示例如下:

results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

執行結果:

['Harden', 'Jordan', 'Kevin', 'Mark', 'Mike']

偏移

在某些情況下我們可能想只取某幾個元素,在這裡可以利用skip()方法偏移幾個位置,比如偏移2,就忽略前2個元素,得到第三個及以後的元素。

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

執行結果:

['Kevin', 'Mark', 'Mike']

另外還可以用limit()方法指定要取的結果個數,示例如下:

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])

執行結果:

['Kevin', 'Mark']

如果不加limit()原本會返回三個結果,加了限制之後,會擷取2個結果返回。

值得注意的是,在資料庫數量非常龐大的時候,如千萬、億級別,最好不要使用大的偏移量來查詢資料,很可能會導致記憶體溢位,可以使用類似find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})

在這裡我們將name為Kevin的資料的年齡進行更新,首先指定查詢條件,然後將資料查詢出來,修改年齡,之後呼叫update方法將原條件和修改後的資料傳入,即可完成資料的更新。

執行結果:

{'ok': 1, 'nModified': 1, 'n': 1, 'updatedExisting': True}

返回結果是字典形式,ok即代表執行成功,nModified代表影響的資料條數。

另外update()方法其實也是官方不推薦使用的方法,在這裡也分了update_one()方法和update_many()方法,用法更加嚴格,第二個引數需要使用$型別操作符作為字典的鍵名,我們用示例感受一下。

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

在這裡呼叫了update_one方法,第二個引數不能再直接傳入修改後的字典,而是需要使用{'$set': student}

我們再看一個例子:

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

在這裡我們指定查詢條件為年齡大於20,然後更新條件為{'$inc': {'age': 1}}

可以看到匹配條數為1條,影響條數也為1條。

如果呼叫update_many()方法,則會將所有符合條件的資料都更新,示例如下:

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

這時候匹配條數就不再為1條了,執行結果如下:

<pymongo.results.UpdateResult object at 0x10c6384c8>
3 3

可以看到這時所有匹配到的資料都會被更新。

刪除

刪除操作比較簡單,直接呼叫remove()方法指定刪除的條件即可,符合條件的所有資料均會被刪除,示例如下:

result = collection.remove({'name': 'Kevin'})
print(result)

執行結果:

{'ok': 1, 'n': 1}

另外依然存在兩個新的推薦方法,delete_one()和delete_many()方法,示例如下:

result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)

執行結果:

<pymongo.results.DeleteResult object at 0x10e6ba4c8>
1
4

delete_one()即刪除第一條符合條件的資料,delete_many()即刪除所有符合條件的資料,返回結果是DeleteResult型別,可以呼叫deleted_count屬性獲取刪除的資料條數

 

 

1、SQL vs NoSQL

 

如果你不是很熟悉NoSQL這個概念,MongoDB就是一個NoSQL資料庫。近幾年來它越來越受到整個行業的歡迎。NoSQL資料庫提供了一個和關係型資料庫非常不同的檢索方式和儲存資料功能。

 

在NoSQL出現的幾十年來,SQL資料庫是開發者尋求構建大型、可擴充套件系統的唯一選擇之一。然而,越來越多的需求要求儲存複雜資料結構的能力。這推動了NoSQL資料庫的誕生,它允許開發者儲存異構和無結構的資料。

 

當到資料庫方案選擇時,大多數人都問自己最後一個問題,“SQL或NoSQL的?”。無論是SQL和NoSQL都有自己的長處和弱點,你應該選擇適合您的應用需求中最好的之一。這裡是兩者之間的一些區別:

 

SQL

 

模型是關係型的;

資料被存放在表中;

適用於每條記錄都是相同型別並具有相同屬性的情況;

儲存規範需要預定義結構;

新增新的屬性意味著你必須改變整體架構;

ACID事務支援;

 

NoSQL

 

模型是非關係型的;

可以儲存Json、鍵值對等(決定於NoSQL資料庫型別);

並不是每條記錄都要有相同的結構;

新增帶有新屬性的資料時,不會影響其他;

支援ACID事務,根據使用的NoSQL的資料庫而有所不同;

一致性可以改變;

橫向擴充套件;

 

在兩種型別的資料庫之間還有許多其他的區別,但上面提到的是一些更重要的區別。根據您的具體情況,使用SQL資料庫可能是首選,而在其他情況下,NoSQL的是更明顯的選擇。當選擇一個資料庫時,您應該謹慎考慮每個資料庫的優勢和劣勢。

 

NoSQL的一個好處是,有許多不同型別的資料庫可供選擇,並且每個都有自己的用例:

 

在兩種型別的資料庫之間還有許多其他的區別,但上面提到的是一些更重要的區別。根據您的具體情況,使用SQL資料庫可能是首選,而在其他情況下,NoSQL的是更明顯的選擇。當選擇一個資料庫時,您應該謹慎考慮每個資料庫的優勢和劣勢。

 

NoSQL的一個好處是,有許多不同型別的資料庫可供選擇,並且每個都有自己的用例:

 

key-value儲存:DynamoDB

文件儲存:CouchDB,MongoDB,RethinkDB

列儲存:Cassandra

資料結構: Redis,SSDB

 

還有很多,但這些是一些更常見的型別。近年來,SQL和NoSQL資料庫甚至已經開始合併。例如,PostgreSQL現在支援儲存和查詢JSON資料,很像MongoDB。有了這個,你可以用Postgres實現MongoDB一樣的功能,但你仍然沒有MongoDB的其他優勢(如橫向擴容和簡單的介面,等等)。

 

2、MongoDB

 

現在,讓我們將視線轉移到本文的重點,並闡明的MongoDB的具體的一些情況。

 

MongoDB是一個面向文件的,開源資料庫程式,它平臺無關。MongoDB像其他一些NoSQL資料庫(但不是全部!)使用JSON結構的文件儲存資料。這是使得資料非常靈活,不需要的Schema。

 

一些比較重要的特點是:

 

支援多種標準查詢型別,比如matching()、comparison (, )或者正規表示式;

可以儲存幾乎任何型別的資料,無論是結構化,部分結構化,甚至是多型;

要擴充套件和處理更多查詢,只需新增更多的機器;

它是高度靈活和敏捷,讓您能夠快速開發應用程式;

作為基於文件的資料庫意味著您可以在單個文件中儲存有關您的模型的所有資訊;

您可以隨時更改資料庫的Schema;

許多關係型資料庫的功能也可以在MongoDB使用(如索引)。

 

在執行方面,MongoDB中有相當多的功能在其他資料庫中是沒有的:

 

無論您需要獨立伺服器還是完整的獨立伺服器叢集,MongoDB都可以根據需要進行擴充套件;

MongoDB還通過在各個分片上自動移動資料來提供負載均衡支援;

它具有自動故障轉移支援,如果主伺服器Down掉,新的主伺服器將自動啟動並執行;

MongoDB的管理服務(MMS)可以用於監控和備份MongoDB的基礎設施服務;

不像關聯式資料庫,由於記憶體對映檔案,你將節省相當多的RAM。

 

雖然起初MongoDB似乎是解決我們許多問題的資料庫,但它不是沒有缺點的。MongoDB的一個常見缺點是缺少對ACID事務的支援,MongoDB在特定場景下支援ACID事務,但不是在所有情況。在單文件級別,支援ACID事務(這是大多數事務發生的地方)。但是,由於MongoDB的分散式性質,不支援處理多個文件的事務。

 

MongoDB還缺少對自然join查詢支援。在MongoDB看來:文件意在包羅永珍,這意味著,一般來說,它們不需要參考其他文件。在現實世界中,這並不總是有效的,因為我們使用的資料是關係性的。因此,許多人認為MongoDB應該被用作一個SQL資料庫的補充資料庫,但是當你使用MongoDB是,你會發現這是錯誤的

 

3、PyMongo

 

現在我們已經描述了MongoDB的是什麼,讓我們來看看如何在Python中實際使用它。由MongoDB開發者釋出的官方驅動程式PyMongo,這裡通過一些例子介紹,但你也應該檢視完整的文件,因為我們無法面面俱到。

 

當然第一件事就是安裝,最簡單的方式就是pip:

 

pip install pymongo==3.4.0

 

注:有關更全面的指南,請檢視文件的安裝/升級頁面,並按照其中的步驟進行設定

 

完成設定後,啟動的Python控制檯並執行以下命令:

 

>>> import pymongo

 

如果沒有提出任何異常就說明安裝成功了

 

建立連線

 

使用MongoClient物件建立連線:

 

from pymongo import MongoClient

client = MongoClient()

 

使用上面的程式碼片段,將建立連線到預設主機(localhost)和埠(27017)。您還可以指定主機和/或使用埠:

 

client = MongoClient(‘localhost’, 27017)

 

或者使用MongoURl格式:

 

client = MongoClient(‘mongodb://localhost:27017’)

 

訪問資料庫

 

一旦你有一個連線的MongoClient例項,你可以在Mongo伺服器中訪問任何資料庫。如果要訪問一個資料庫,你可以當作屬性一樣訪問:

 

db = client.pymongo_test

 

或者你也可以使用字典形式的訪問:

 

db = client[‘pymongo_test’]

 

如果您的指定資料庫已建立,實際上並不重要。通過指定此資料庫名稱並將資料儲存到其中,您將自動建立資料庫。

 

插入文件

 

在資料庫中儲存資料,就如同呼叫只是兩行程式碼一樣容易。第一行指定你將使用哪個集合。在MongoDB中術語中,一個集合是在資料庫中儲存在一起的一組文件(相當於SQL的表)。集合和文件類似於SQL表和行。第二行是使用集合插入資料insert_one()的方法:

 

posts = db.posts

post_data = {

    ‘title’: ‘Python and MongoDB’,

    ‘content’: ‘PyMongo is fun, you guys’,

    ‘author’: ‘Scott’

}

result = posts.insert_one(post_data)

print(‘One post: {0}’.format(result.inserted_id))

 

我們甚至可以使用insert_one()同時插入很多文件,如果你有很多的文件新增到資料庫中,可以使用方法insert_many()。此方法接受一個list引數:

 

post_1 = {

    ‘title’: ‘Python and MongoDB’,

    ‘content’: ‘PyMongo is fun, you guys’,

    ‘author’: ‘Scott’

}

post_2 = {

    ‘title’: ‘Virtual Environments’,

    ‘content’: ‘Use virtual environments, you guys’,

    ‘author’: ‘Scott’

}

post_3 = {

    ‘title’: ‘Learning Python’,

    ‘content’: ‘Learn Python, it is easy’,

    ‘author’: ‘Bill’

}

new_result = posts.insert_many([post_1, post_2, post_3])

print(‘Multiple posts: {0}’.format(new_result.inserted_ids))

 

你應該看到類似輸出:

 

One post: 584d947dea542a13e9ec7ae6

Multiple posts: [

    ObjectId(‘584d947dea542a13e9ec7ae7’),

    ObjectId(‘584d947dea542a13e9ec7ae8’),

    ObjectId(‘584d947dea542a13e9ec7ae9’)

]

 

注意: 不要擔心,你和上面顯示不一樣。它們是在插入資料時,由Unix的紀元,機器識別符號和其他唯一資料組成的動態標識。

 

檢索文件

 

檢索文件可以使用find_one()方法,比如要找到author為Bill的記錄:

 

bills_post = posts.find_one({‘author’: ‘Bill’})

print(bills_post)

 

執行結果:

{

    ‘author’: ‘Bill’,

    ‘title’: ‘Learning Python’,

    ‘content’: ‘Learn Python, it is easy’,

    ‘_id’: ObjectId(‘584c4afdea542a766d254241’)

}

 

您可能已經注意到,這篇文章的ObjectId是設定的_id,這是以後可以使用唯一標識。如果需要查詢多條記錄可以使用find()方法:

 

scotts_posts = posts.find({‘author’: ‘Scott’})

print(scotts_posts)

 

結果:

<pymongo.cursor.Cursor object at 0x109852f98>

 

他的主要區別在於文件資料不是作為陣列直接返回給我們。相反,我們得到一個遊標物件的例項。這Cursor是一個包含相當多的輔助方法,以幫助您處理資料的迭代物件。要獲得每個文件,只需遍歷結果:

 

for post in scotts_posts:

    print(post)

 

4、MongoEngine

 

雖然PyMongo是非常容易使用,總體上是一個偉大的輪子,但是許多專案使用它都可能太低水平。簡而言之,你必須編寫很多自己的程式碼來持續地儲存,檢索和刪除物件。PyMongo之上提供了一個更高的抽象一個庫是MongoEngine。MongoEngine是一個物件文件對映器(ODM),它大致相當於一個基於SQL的物件關係對映器(ORM)。MongoEngine提供的抽象是基於類的,所以你建立的所有模型都是類。雖然有相當多的Python的庫可以幫助您使用MongoDB,MongoEngine是一個更好的,因為它有一個很好的組合的功能,靈活性和社群支援。

 

使用pip安裝:

 

pip install mongoengine==0.10.7

 

連線:

 

from mongoengine import *

connect(‘mongoengine_test’, host=’localhost’, port=27017)

 

和pymongo不同。MongoEngine需要制定資料庫名稱。

 

定義文件

 

建立文件之前,需要定義文件中要存放資料的欄位。與許多其他ORM類似,我們將通過繼承Document類,並提供我們想要的資料型別來做到這一點:

 

import datetime

 

class Post(Document):

    title = StringField(required=True, max_length=200)

    content = StringField(required=True)

    author = StringField(required=True, max_length=50)

    published = DateTimeField(default=datetime.datetime.now)

 

在這個簡單的模型中,我們已經告訴MongoEngine,我們的Post例項有title、content、author、published。現在Document物件可以使用該資訊來驗證我們提供它的資料。

 

因此,如果我們試圖儲存Post的中沒有title那麼它會丟擲一個Exception,讓我們知道。我們甚至可以進一步利用這個並新增更多的限制:

 

required:設定必須;

default:如果沒有其他值給出使用指定的預設值

unique:確保集合中沒有其他document有此欄位的值相同

choices:確保該欄位的值等於陣列中的給定值之一

 

儲存文件

 

將文件儲存到資料庫中,我們將使用save()的方法。如果文件中的資料庫已經存在,則所有的更改將在原子水平上對現有的文件進行。如果它不存在,但是,那麼它會被建立。

 

這裡是建立和儲存一個文件的例子:

 

post_1 = Post(

    title=’Sample Post’,

    content=’Some engaging content’,

    author=’Scott’

)

post_1.save()       # This will perform an insert

print(post_1.title)

post_1.title = ‘A Better Post Title’

post_1.save()       # This will perform an atomic edit on “title”

print(post_1.title)

 

呼叫save()的時候需要注意幾點:

 

PyMongo將在您呼叫.save()時執行驗證,這意味著它將根據您在類中宣告的模式檢查要儲存的資料,如果違反模式(或約束),則丟擲異常並且不儲存資料;

由於Mongo不支援真正的事務,因此沒有辦法像在SQL資料庫中那樣“回滾”.save()呼叫。

 

當你儲存的資料沒有title時:

 

post_2 = Post(content=’Content goes here’, author=’Michael’)

post_2.save()

 

raise ValidationError(message, errors=errors)

mongoengine.errors.ValidationError:

ValidationError (Post:None) (Field is required: [‘title’])

 

向物件的特性

 

使用MongoEngine是物件導向的,你也可以新增方法到你的子類文件。例如下面的示例,其中函式用於修改預設查詢集(返回集合的所有物件)。通過使用它,我們可以對類應用預設過濾器,並只獲取所需的物件

 

class Post(Document):

    title = StringField()

    published = BooleanField()

 

    @queryset_manager

    def live_posts(clazz, queryset):

        return queryset.filter(published=True)

 

關聯其他文件

 

您還可以使用ReferenceField物件來建立從一個文件到另一個文件的引用。MongoEngine在訪問時自動惰性處理引用。

 

class Author(Document):

    name = StringField()

 

class Post(Document):

    author = ReferenceField(Author)

 

Post.objects.first().author.name

 

在上面的程式碼中,使用文件”外來鍵”,我們可以很容易地找到第一篇文章的作者。其實還有比這裡介紹的更多的欄位類(和引數),所以一定要檢視文件欄位更多資訊。

相關文章

程式語言 最新文章