NoSQL架構實踐——以NoSQL為輔

NoSQL架構實踐——以NoSQL為輔

原文地址:http://www.infoq.com/cn/news/2011/02/nosql-architecture-practice/

前面《為什麼要使用NoSQL》和《關聯式資料庫還是NoSQL資料庫》兩篇從大體上介紹了為什麼要用NoSQL,何時該用NoSQL。經常有朋友遇到困惑,看到NoSQL的介紹,覺得很好,但是卻不知道如何正式用到自己的專案中。很大的原因就是思維固定在MySQL中了,他們問得最多的問題就是用了NoSQL,我如何做關係查詢。那麼接下來,我們看下怎麼樣在我們的系統中使用NoSQL。

怎麼樣把NoSQL引入到我們的系統架構設計中,需要根據我們系統的業務場景來分析,什麼樣型別的資料適合儲存在NoSQL資料庫中,什麼樣型別的資料必須使用關聯式資料庫儲存。明確引入的NoSQL資料庫帶給系統的作用,它能解決什麼問題,以及可能帶來的新的問題。下面我們分析幾種常見的NoSQL架構。

(一)NoSQL作為映象

不改變原有的以MySQL作為儲存的架構,使用NoSQL作為輔助映象儲存,用NoSQL的優勢輔助提升效能。

圖 1 -NoSQL為映象(程式碼完成模式 )

//寫入資料的示例虛擬碼 
//data為我們要儲存的資料物件 
data.title=”title”; 
data.name=”name”; 
data.time=”2009-12-01 10:10:01”; 
data.from=”1”; 
id=DB.Insert(data);//寫入MySQL資料庫 
NoSQL.Add(id,data);//以寫入MySQL產生的自增id為主鍵寫入NoSQL資料庫

如果有資料一致性要求,可以像如下的方式使用

//寫入資料的示例虛擬碼 
//data為我們要儲存的資料物件 
bool status=false; 
DB.startTransaction();//開始事務 
id=DB.Insert(data);//寫入MySQL資料庫 
if(id>0){ 
status=NoSQL.Add(id,data);//以寫入MySQL產生的自增id為主鍵寫入NoSQL資料庫 
} 
if(id>0 && status==true){ 
DB.commit();//提交事務 
}else{ 
DB.rollback();//不成功,進行回滾 
}

上面的程式碼看起來可能覺得有點麻煩,但是只需要在DB類或者ORM層做一個統一的封裝,就能實現重用了,其他程式碼都不用做任何的修改。

這種架構在原有基於MySQL資料庫的架構上增加了一層輔助的NoSQL儲存,程式碼量不大,技術難度小,卻在可擴充套件性和效能上起到了非常大的作用。只需要程式在寫入MySQL資料庫後,同時寫入到NoSQL資料庫,讓MySQL和NoSQL擁有相同的映象資料,在某些可以根據主鍵查詢的地方,使用高效的NoSQL資料庫查詢,這樣就節省了MySQL的查詢,用NoSQL的高效能來抵擋這些查詢。

圖 2 -NoSQL為映象(同步模式)

這種不通過程式程式碼,而是通過MySQL把資料同步到NoSQL中,這種模式是上面一種的變體,是一種對寫入透明但是具有更高技術難度一種模式。這種模式適用於現有的比較複雜的老系統,通過修改程式碼不易實現,可能引起新的問題。同時也適用於需要把資料同步到多種型別的儲存中。

MySQL到NoSQL同步的實現可以使用MySQL UDF函式,MySQL binlog的解析來實現。可以利用現有的開源專案來實現,比如:

有了這兩個MySQL UDF函式庫,我們就能通過MySQL透明的處理Memcached或者Http協議,這樣只要有相容Memcached或者Http協議的NoSQL資料庫,那麼我們就能通過MySQL去操作以進行同步資料。再結合lib_mysqludf_json,通過UDF和MySQL觸發器功能的結合,就可以實現資料的自動同步。

(二)MySQL和NoSQL組合

MySQL中只儲存需要查詢的小欄位,NoSQL儲存所有資料。

圖 3 -MySQL和NoSQL組合

//寫入資料的示例虛擬碼 
//data為我們要儲存的資料物件 
data.title=”title”; 
data.name=”name”; 
data.time=”2009-12-01 10:10:01”;
data.from=”1”;
bool status=false; 
DB.startTransaction();//開始事務 
id=DB.Insert(“INSERT INTO table (from) VALUES(data.from)”);//寫入MySQL資料庫,只寫from需要where查詢的欄位 
if(id>0){ 
status=NoSQL.Add(id,data);//以寫入MySQL產生的自增id為主鍵寫入NoSQL資料庫 
} 
if(id>0 && status==true){ 
DB.commit();//提交事務 
}else{ 
DB.rollback();//不成功,進行回滾 
}

把需要查詢的欄位,一般都是數字,時間等型別的小欄位儲存於MySQL中,根據查詢建立相應的索引,其他不需要的欄位,包括大文字欄位都儲存在NoSQL中。在查詢的時候,我們先從MySQL中查詢出資料的主鍵,然後從NoSQL中直接取出對應的資料即可。

這種架構模式把MySQL和NoSQL的作用進行了融合,各司其職,讓MySQL專門負責處理擅長的關係儲存,NoSQL作為資料的儲存。它有以下優點:

  • 節省MySQL的IO開銷。由於MySQL只儲存需要查詢的小欄位,不再負責儲存大文字欄位,這樣就可以節省MySQL儲存的空間開銷,從而節省MySQL的磁碟IO。我們曾經通過這種優化,把MySQL一個40G的表縮減到幾百M。
  • 提高MySQl Query Cache快取命中率。我們知道query cache快取失效是表級的,在MySQL表一旦被更新就會失效,經過這種欄位的分離,更新的欄位如果不是儲存在MySQL中,那麼對query cache就沒有任何影響。而NoSQL的Cache往往都是行級別的,只對更新的記錄的快取失效。
  • 提升MySQL主從同步效率。由於MySQL儲存空間的減小,同步的資料記錄也減小了,而部分資料的更新落在NoSQL而不是MySQL,這樣也減少了MySQL資料需要同步的次數。
  • 提高MySQL資料備份和恢復的速度。由於MySQL資料庫儲存的資料的減小,很容易看到資料備份和恢復的速度也將極大的提高。
  • 比以前更容易擴充套件。NoSQL天生就容易擴充套件。經過這種優化,MySQL效能也得到提高。

比如手機鳳凰網就是這種架構 http://www.cnblogs.com/sunli/archive/2010/12/20/imcp.html

總結

以NoSQL為輔的架構還是以MySQL架構的思想為中心,只是在以前的架構上輔助增加了NoSQL來提高其效能和可擴充套件性。這種架構實現起來比較容易,卻能取得不錯的效果。如果正想在專案中引入NoSQL,或者你的以MySQL架構的系統目前正出現相關的瓶頸,希望本文可以為你帶來幫助。