值得收藏!Redis五大資料型別應用場景(一)

值得收藏!Redis五大資料型別應用場景(一)

Redis開創了一種新的資料儲存思路,使用Redis,我們不用在面對功能單調的資料庫時,把精力放在如何把大象放進冰箱這樣的問題上,而是利用Redis靈活多變的資料結構和資料操作.

Redis常用資料型別

Redis最為常用的資料型別主要有以下五種:

  • String

  • Hash

  • List

  • Set

  • Sorted set

在具體描述這幾種資料型別之前,我們先通過一張圖瞭解下Redis內部記憶體管理中是如何描述這些不同資料型別的:

首先Redis內部使用一個redisObject物件來表示所有的key和value,redisObject最主要的資訊如上圖所示:type代表一個value物件具體是何種資料型別,encoding是不同資料型別在redis內部的儲存方式,比如:type=string代表value儲存的是一個普通字串,那麼對應的encoding可以是raw或者是int,如果是int則代表實際redis內部是按數值型類儲存和表示這個字串的,當然前提是這個字串本身可以用數值表示,比如:”123″ “456”這樣的字串。

    這裡需要特殊說明一下vm欄位,只有開啟了Redis的虛擬記憶體功能,此欄位才會真正的分配記憶體,該功能預設是關閉狀態的。通過上圖我們可以發現Redis使用redisObject來表示所有的key/value資料是比較浪費記憶體的,當然這些記憶體管理成本的付出主要也是為了給Redis不同資料型別提供一個統一的管理介面,實際作者也提供了多種方法幫助我們儘量節省記憶體使用,我們隨後會具體討論。

各種資料型別應用和實現方式

下面我們先來逐一的分析下這五種資料型別的使用和內部實現方式:

2.1  String

String 資料結構是簡單的key-value型別,value其實不僅是String,也可以是數字。

常用命令:get、set、incr、decr、mget等。

應用場景:String是最常用的一種資料型別,普通的key/ value 儲存都可以歸為此類,即可以完全實現目前 Memcached 的功能,並且效率更高。還可以享受Redis的定時持久化,操作日誌及 Replication等功能。除了提供與 Memcached 一樣的get、set、incr、decr 等操作外,Redis還提供了下面一些操作: 

  • 獲取字串長度

  • 往字串append內容

  • 設定和獲取字串的某一段內容

  • 設定及獲取字串的某一位(bit)

  • 批量設定一系列字串的內容

使用場景:常規key-value快取應用。常規計數: 微博數, 粉絲數。

實現方式:String在redis內部儲存預設就是一個字串,被redisObject所引用,當遇到incr,decr等操作時會轉成數值型進行計算,此時redisObject的encoding欄位為int。

2.2 Hash

常用命令:hget,hset,hgetall 等。

應用場景:我們簡單舉個例項來描述下Hash的應用場景,比如我們要儲存一個使用者資訊物件資料,包含以下資訊:

使用者ID為查詢的key,儲存的value使用者物件包含姓名,年齡,生日等資訊,如果用普通的key/value結構來儲存,主要有以下2種儲存方式:

第一種方式將使用者ID作為查詢key,把其他資訊封裝成一個物件以序列化的方式儲存,這種方式的缺點是,增加了序列化/反序列化的開銷,並且在需要修改其中一項資訊時,需要把整個物件取回,並且修改操作需要對併發進行保護,引入CAS等複雜問題。

第二種方法是這個使用者資訊物件有多少成員就存成多少個key-value對兒,用使用者ID 對應屬性的名稱作為唯一標識來取得對應屬性的值,雖然省去了序列化開銷和併發問題,但是使用者ID為重複儲存,如果存在大量這樣的資料,記憶體浪費還是非常可觀的。

那麼Redis提供的Hash很好的解決了這個問題,Redis的Hash實際是內部儲存的Value為一個HashMap,並提供了直接存取這個Map成員的介面,如下圖:

也就是說,Key仍然是使用者ID, value是一個Map,這個Map的key是成員的屬性名,value是屬性值,這樣對資料的修改和存取都可以直接通過其內部Map的Key(Redis裡稱內部Map的key為field), 也就是通過 key(使用者ID) field(屬性標籤) 就可以操作對應屬性資料了,既不需要重複儲存資料,也不會帶來序列化和併發修改控制的問題。很好的解決了問題。

    這裡同時需要注意,Redis提供了介面(hgetall)可以直接取到全部的屬性資料,但是如果內部Map的成員很多,那麼涉及到遍歷整個內部Map的操作,由於Redis單執行緒模型的緣故,這個遍歷操作可能會比較耗時,而另其它客戶端的請求完全不響應,這點需要格外注意。

使用場景:儲存部分變更資料,如使用者資訊等。

實現方式:上面已經說到Redis Hash對應Value內部實際就是一個HashMap,實際這裡會有2種不同實現,這個Hash的成員比較少時Redis為了節省記憶體會採用類似一維陣列的方式來緊湊儲存,而不會採用真正的HashMap結構,對應的value redisObject的encoding為zipmap,當成員數量增大時會自動轉成真正的HashMap,此時encoding為ht。

2.3 List

常用命令:lpush,rpush,lpop,rpop,lrange等。

應用場景:Redis list的應用場景非常多,也是Redis最重要的資料結構之一,比如twitter的關注列表,粉絲列表等都可以用Redis的list結構來實現。

List 就是連結串列,相信略有資料結構知識的人都應該能理解其結構。使用List結構,我們可以輕鬆地實現最新訊息排行等功能。List的另一個應用就是訊息佇列,

可以利用List的PUSH操作,將任務存在List中,然後工作執行緒再用POP操作將任務取出進行執行。Redis還提供了操作List中某一段的api,你可以直接查詢,刪除List中某一段的元素。

實現方式:Redis list的實現為一個雙向連結串列,即可以支援反向查詢和遍歷,更方便操作,不過帶來了部分額外的記憶體開銷,Redis內部的很多實現,包括髮送緩衝佇列等也都是用的這個資料結構。

Redis的list是每個子元素都是String型別的雙向連結串列,可以通過push和pop操作從列表的頭部或者尾部新增或者刪除元素,這樣List即可以作為棧,也可以作為佇列。 

使用場景:

訊息佇列系統

使用list可以構建佇列系統,使用sorted set甚至可以構建有優先順序的佇列系統。

比如:將Redis用作日誌收集器

實際上還是一個佇列,多個端點將日誌資訊寫入Redis,然後一個worker統一將所有日誌寫到磁碟。

取最新N個資料的操作

記錄前N個最新登陸的使用者Id列表,超出的範圍可以從資料庫中獲得。

//把當前登入人新增到連結串列裡

ret = r.lpush(“login:last_login_times”, uid)

//保持連結串列只有N位

ret = redis.ltrim(“login:last_login_times”, 0, N-1)

//獲得前N個最新登陸的使用者Id列表

last_login_list = r.lrange(“login:last_login_times”, 0, N-1)

比如sina微博:

     在Redis中我們的最新微博ID使用了常駐快取,這是一直更新的。但是我們做了限制不能超過5000個ID,因此我們的獲取ID函式會一直詢問Redis。只有在start/count引數超出了這個範圍的時候,才需要去訪問資料庫。

    我們的系統不會像傳統方式那樣“重新整理”快取,Redis例項中的資訊永遠是一致的。SQL資料庫(或是硬碟上的其他型別資料庫)只是在使用者需要獲取“很遠”的資料時才會被觸發,而主頁或第一個評論頁是不會麻煩到硬碟上的資料庫了。