SQLite和Berkeley DB(BDB)比較資料收集

NO IMAGE

嵌入式資料庫典型技術―SQLite和Berkeley
DB的研究

摘 要: 與常見的資料庫相比,嵌入式資料庫具有體積小、功能齊備、可移植性、健壯性等特點,本文分析和比較了典型的嵌入式資料庫SQLite和Berkeley
DB。首先從體系結構、子系統間呼叫關係、任務執行過程等角度對SQLite和Berkeley
DB進行了詳細分析,然後重點從資料型別、儲存方式、模式、資料庫引擎和錯誤處理及加密功能等方面討論了SQLite和Berkeley
DB的異同點,最後列舉了一個基於ARM—Linux的SQLite應用例項。

 

關鍵詞: SQLite、Berkeley
DB、SQL、虛擬資料庫引擎(VDBE)

 

引言

隨著計算機技術與其它學科間的不斷交融、滲透,資料庫應用的範圍更加深入和具體。那些僅適用於PC機,體積龐大、延時較長的資料庫技術已不能滿足針對性較強的嵌入式系統開發的需求。SOLite和Berkeley
DB是目前應用較廣泛、技術較穩定的兩種嵌入式資料庫。然而,國內對嵌入式資料庫的研究起步較晚,還沒能引起更多人的關注。更多人熟悉那些基於C/S或B/S結構的關係型資料庫來實現資料的儲存、檢索等功能。然而,在嵌入式系統中,由於軟硬體資源有限,不可能安裝龐大的資料庫伺服器,而使用者的需求可能由一個簡單的基於磁碟檔案的資料庫系統就能實現,這僅僅是利用了那些資料庫的基本特性。此時,對嵌入式資料庫的研究就顯得尤為重要了。

 

一、嵌入式資料庫

嵌入式資料庫通常是與嵌入式作業系統及具體的應用整合在一起,無需獨立執行資料庫引擎,由程式直接呼叫相應的API就可實現對資料的存取操作。嵌入式系統的開發環境決定了其資料庫的特點:

1、體積適當

由於嵌入式系統自身的特點,對資料的儲存和程式的執行都有較強的空間限制,所以嵌入式資料庫首先應該保障的就是適當的體積。進一步來說就是佔用儘量少的ROM、RAM及CPU的資源。

2、功能齊備

嵌入式系統開發中,使用者需求決定了需要一個大小適中、功能齊備的資料庫來實現資料管理,這就使得開發人員要採用一個能夠提供完備開發文件且易於開發的資料庫技術。此外,國家863專案2002AA714023,研究生精品課程資助05531451在嵌入式裝置中,資料庫的管理對使用者來說是透明的,這就要求此資料庫能夠自動完成啟動初始化、日誌管理、資料壓縮、備份、資料恢復等功能;而且嵌入式裝置經常有不可預料的硬復位,這就需要此資料庫有高度的健壯性。

3、可移植性

嵌入式系統的平臺種類繁多,因此嵌入式資料庫應有一定的可移植性,以適用於不同的軟硬體平臺。

4、程式碼開源

開源的程式碼在產品的開發過程中不僅可以減少開發成本,更重要的是為後期的維護完善和穩定執行都提供了最為徹底的解決方法。

 

二、SQLite

SQLite是D.理查德.希普用一個小型的C庫開發的一種強有力的嵌入式關聯式資料庫管理體制。雖然功能較Berkeley
DB稍顯遜色,但它簡單易學、速度較快,同時提供了豐富的資料庫介面,提供了對SQL92的大多數支援:支援多表和索引、事務、檢視、觸發和一系列的使用者介面及驅動。

SQLite和Berkeley DB(BDB)比較資料收集 - lanhy2000 - 不當老闆

圖1 SQLite的體系結構

 

SQLite的體系結構大體上可以分成八個主要的子系統,如圖1所示。對資料庫進行的各種操作都是按照此順序,逐一執行的。頂層是標記處理器(tokenize)和分析器(parser)。SQLite有自己高度優化的程式碼生成器,可以快速、高效地生產出程式碼。底部是經過優化的B樹,這樣有助於執行在可調整的頁面緩衝上時,對磁碟的查詢降低到最小。再往下是頁面快取記憶體,它作用在OS的抽象層之上,這樣的體系結構使資料庫的可移植性變為可能。

該體系結構的核心是虛擬資料庫引擎(VDBE)。VDBE完成與資料操作相關的全部任務,並且是客戶和儲存之間資訊交換的中間單元。從各個角度分析,它都是SQLite的核心。當SQL語句被分析後,VDBE便開始工作。程式碼生成器將分析樹翻譯成一個袖珍程式,隨後這些袖珍程式又被組合成VDBE的虛擬機器器語言表示的一系列指令。如此反覆,VDBE執行每條指令,最終完成SQL語句指定的查詢要求。

SQLite有以下特性:支援ACID事務、零配置―無需安裝和管理配置、儲存在單一磁碟檔案中的一個完整的資料庫、資料庫檔案可以在不同位元組順序的機器間自由共享、支援資料庫大小至2TB、足夠小、全部原始碼大致3萬行C程式碼,250KB、比目前流行的大多資料庫執行速度快,提供了對事務功能和併發處理的支援、應用Transaction既保證了資料的完整性,也會提高執行速度,因為多條語句一起提交給資料庫的速度會比逐一提交的方式更快、獨立、沒有額外依賴。

 

三、Berkeley DB

Berkeley DB是由sleepycat
software開發的輕量級嵌入式資料庫,它不僅適用於嵌入式系統,而且可以直接連線到應用程式內部,和應用程式執行在同一地址空間。傳統的資料庫一般作為獨立伺服器工作,而Berkeley
DB是軟體開發庫,開發者將它嵌入到應用程式中,應用程式本身就是一個伺服器,而只是利用嵌入式資料庫開發來實現定製的資料庫邏輯,避免了與應用伺服器程序間通訊的開銷,因此Berkeley
DB具有較高的執行效率,適用於資源受限的嵌入式系統。

一般而言,Berkeley DB資料庫系統可以大致分為五個子系統,如圖2所示。

SQLite和Berkeley DB(BDB)比較資料收集 - lanhy2000 - 不當老闆

圖2  Berkeley DB 子系統圖

1、存取管理子系統(Access
Methods)

該子系統為建立和訪問資料庫檔案提供基本的支援。在沒有事務管理的情況下,該子系統中的模組可單獨使用,為應用程式提供快速高效的資料存取服務。

2、記憶體池管理子系統(Memory
Pool)

該子系統就是Berkeley DB所使用的通用共享記憶體緩衝區,該子系統可以被應用程式單獨使用。

3、事務子系統(Transaction)

該子系統為Berkekey DB提供事務管理功能,保證操作的原則性、一致性和孤立性。事務子系統適用於對需要事務保證的資料進行修改的場合。

4、鎖子系統(Locking)

       該子系統提供程序之間以及程序內部的併發管理機制,為系統提供多使用者讀取和單使用者修改同一物件的共享控制。該子系統可以被應用程式單獨使用。

5、日誌子系統(Logging)

該子系統採用的是先寫日誌的策略,支援事務子系統進行資料恢復,保證資料一致性。

四、SQLite與Berkeley
DB的異同

 

   通過上面的一些介紹,也許會對SQLite和Berkeley
DB有了一定的瞭解。從目前的趨勢看,這兩款嵌入式資料庫有著旺盛的生命力,較好的應用領域及發展空間。筆者翻閱了大量的資料,從各個角度,對它們的異同進行了多方面,多層次的比較,如表1所示。

 

表1 SQLite與Berkeley
DB的異同

特性

SQLite

Berkeley DB

是否為關聯式資料庫

是否支援SQL

開發語言

C語言

C、Java語言

資料型別

儲存方式

轉換成ASCII碼

原樣儲存

儲存模式

Btree

Btree、Hash、Queue和Recno

資料庫引擎

虛擬

適用系統

從ARM/Linux到SPARC/Solaris多種硬體平臺

UNIX/POSIX systems、Win32及嵌入式系統WinCE、VxWorks等

錯誤處理

較少

較詳細

加密功能

是否免費

全部

部分

難易程度

較易

較難

 

通過此表我們可以較為直觀地看到,SQLite和Berkeley
DB在資料庫型別、開發語言、儲存方式、模式等方面有著較大的差異。下面筆者就對其中某些重要方面進行相對詳細的論述:

1、資料庫型別

SQLite基於關聯式資料庫模式,支援絕大多數標準的SQL92語句,在很大程度上實現了ANSI
SQL92標準,特別是支援檢視、觸發器、事務,支援巢狀SQL。它通過SQL編譯器(SQL
Complier)來實現SQL語言對資料庫進行操作,採用單檔案存放資料庫。在操作語句上更類似關係型資料庫的產品使用,非常方便。這也就使得那些曾經有過PC機資料庫經驗的人,對SQLite的學習變得易如反掌。

此外,SQLite也有API的概念,而且極其易於使用,只需要三個用來執行SQL和獲得資料的函式。它還是可以擴充套件的,允許程式設計師自定義函式,然後以callback的形式集合進去。C語言API是指令碼介面的基礎,如已經發布的(Tcl介面)。開放原始碼團體已經擴充套件了眾多的客戶介面、介面卡、驅動等,這就使得其他語言對SQLite的使用也成為可能。

Berkeley DB不是關係型的資料庫,不能應用標準的SQL語句對資料庫操作,對它的操作要呼叫專用的API實現。這些API提供了查詢、插入、刪除等功能。使用Berkeley
DB提供的函式來進行資料庫的訪問和管理並不複雜。在大多數場合下,只需按照統一的介面標準進行呼叫就可以完成最基本的操作。

2、儲存方式及模式

SQLite只提供了Btree儲存資料的模式。對二進位制資料,SQLite不能直接儲存;但可以先將二進位制的資料轉換成ASCII編碼,然後再儲存。Base64編碼機制是最常見的把二進位制資料轉換成ASCII編碼的手段。在SQLite的C語言程式碼encode.c中,提供了Base64編碼的功能。

Berkeley DB對任何存入的資料都是按原樣直接儲存到資料檔案中去,無論其是二進位制資料還是ASCII或Unicode等編碼的文字。Berkeley
DB提供了四種儲存資料的模式:Btree、Hash、Queue和Recno。在開啟資料庫的時候,要指定一種儲存模式。

對於以上各種儲存模式的具體定義、優缺點、及適用範圍,由於篇幅有限,在此就不過多敘述,如有需要可參閱相關資料。

3、資料型別

SQLite最大的特點在於其資料型別為無資料型別(typelessness)。這意味著可以儲存任何型別的資料到所想要儲存的任何表的任何列中,無論這列宣告的資料型別是什麼。雖然在生成表結構的時候,要宣告每個域的資料型別,但SQLite並不做任何檢查。開發人員要靠自己的程式來控制輸入與讀出資料的型別。這裡有一個例外,就是當主鍵為整型值時,如果要插入一個非整型值時會產生異常。

雖然,SQLite允許忽略資料型別,但是,仍然建議在Create
Table語句中指定資料型別,因為資料型別有利於增強程式的可讀性。另外,雖然在插入或讀出資料的時候是不區分型別的,但在比較的時候,不同資料型別是有區別的。

在Berkeley DB中關鍵字(key)和資料(data)是用來進行資料庫管理的基礎,由這兩者構成的key/data對,組成了資料庫中的一個基本結構單元。通過使用這種方式,用API函式訪問資料庫時,只需提供關鍵字就能夠訪問到相應的資料。關鍵字和資料在Berkeley
DB中都是用一個名為DBT的簡單結構來表示的,它的作用主要是儲存相應的記憶體地址及其長度。

五、 應用

SQLite嵌入式資料庫提供了以原始碼釋出的方式,要在眾多的硬體平臺進行移植,可以根據不同平臺對原始碼進行交叉編譯來實現。編譯主要有以下幾個步驟:

1、到http://www.sqlite.org/的cvs中下載最新的原始碼包,解壓後將生成sqlite目錄,另外新建並轉到一個與sqlite目錄平行的同級目錄,如make目錄。

2、用“echo$PATH”命令檢視PATH中是否已經包含交叉編譯工具arm-linux-gcc。

3、為了在ARM-Linux下能正常執行sqlite,需要對sqlite/src/sqliteInt.h作一定的修改,以確保btree(B樹)有正確的變數大小,如“ptr”和“char”。不同體系結構的Linux,如X86和ARM,會有些差別。對於ARM-Linux可以找到如下部分:

# ifndef INTPTR_TYPE

# if SQLITE_PTR_SZ==4

# define INTPTR_TYPE int

# else

# define INTPTR_TYPE long long

# endif

在上面的程式碼前加上一句

# define SQLITE_PTR_SZ 4

這樣後面的“typedef INTPTR_TYPE ptr;”就是定義的“int”型別,而不是“long
long”。

4、使用configure進行一些配置。修改sqlite目錄下的configure,讓configure不去檢查交叉編譯環境。由於篇幅有限不再詳述。

       5、修改Makefile檔案。將程式碼行BCC=arm-linux-gcc-g-O2改成BCC=gcc-g-O2。另外,一般是以靜態連結的形式將sqlite放到ARM-Linux的硬體板上執行的,所以繼續修改Makefile,找到標記為sqlite:的程式碼段,將其中的libsqlite.la改成.libs/libsqlite.a。做完上述修改,用make生成sqlite、libsqlite.a、libsqlite.so。為了減小執行檔案大小可以用strip處理,去掉其中的除錯資訊。

       6、在ARM板上執行sqlite。將sqlite拷貝到ARM板上,方法很多,需要根據具體的情況來選擇。如ftp、cm-dftp、wget等。將sqlite下載到ARM板的/tmp目錄,因為此目錄是可寫的。修改許可權並執行:

chmod wx sqlite

./sqlite test.sqlite

會出現

       sqlite>

如果一切正常,現在sqlite已經在ARM-Linux下跑了起來,然後就可以基於此進行下一步的應用開發了。

六、結語

嵌入式資料庫SQLite和Berkeley
DB,在體積上、功能上、執行速度及難易程度都存在著或多或少的異同。但它們都有能夠充分適應硬體的能力,能很好地適應嵌入式系統的需要。就筆者來看,SQLite功能雖不及Berkeley
DB強大,但它的設計思想是小型、快速和最小化的管理。這就使得SQLite在大小和功能之間找到了一個理想的平衡點,而且完全的開原始碼使其可以稱得上是理想的“嵌入式資料庫”。當然在具體的嵌入式應用中可以根據具體情況選擇應用。

 

參考文獻:

1、http://www.sqlite.org , SQLite的官方主頁

2、http://www.sleepycat.com ,Berkeley
DB的官方主頁

3、Michael
Owens. Embedding an SQL Database with Sqlite. Linux Journal,2003
06 01

4、薛啟康.Linux環境下的資料庫.中國計算機報,2001總期號:1009

5、張孝.嵌入式移動資料庫的現狀及發展[J/OL]. http://www.basesoft.com