Mysql分頁查詢高效方案

NO IMAGE

很久以前的一次面試中,被面試官問到這個問題,由於平時用到的分頁方法不多,只從索引、分表、使用子查詢精準定位偏移以外,沒有使用到其它方法。

後來在看其它部落格看到了一些不同的方案,也一直沒有整理。今天有時間,整理出來,分享給大家。

一,最常見MYSQL最基本的分頁方式:

select * from content order by id desc limit 0, 10

在中小資料量的情況下,這樣的SQL足夠用了,唯一需要注意的問題就是確保使用了索引。隨著資料量的增加,頁數會越來越多,檢視後幾頁的SQL就可能類似:

select * from content order by id desc limit 1000000, 10

一言以蔽之,就是越往後分頁,LIMIT語句的偏移量就會越大,速度也會明顯變慢。
此時,我們可以通過2種方式:

一,子查詢的分頁方式來提高分頁效率,SQL語句如下:

SELECT * FROM table WHERE id >= (SELECT id FROM table LIMIT 1000000, 1) LIMIT 10; 

為什麼會這樣呢?因為子查詢是在索引上完成的,而普通的查詢時在資料檔案上完成的,通常來說,索引檔案要比資料檔案小得多,所以操作起來也會更有效率。通過explain SQL語句發現:子查詢使用了索引!

id select_type table type possible_keys key key_len ref rows Extra
1 PRIMARY content range PRIMARY PRIMARY 4 NULL 6264 Using where
2 SUBQUERY content index NULL PRIMARY 4 NULL 27085 Using index

經過實測,使用子查詢的分頁方式的效率比純LIMIT提高了14-20倍!
可是,還不是完美的!

SELECT * FROM table WHERE id BETWEEN 1000000 AND 1000010; 

用這句速度會更快。

另外,如果需要查詢 id 不是連續的一段,最佳的方法就是先找出 id ,然後用 in 查詢:

SELECT * FROM table WHERE id IN(10000, 100000, 1000000...); 

二,使用MYSQL的FOUND_ROWS()函式
Mysql FOUND_ROWS() 函式結合SQL_CALC_FOUND_ROWS在SELECT中可以得到兩個結果:
1. 得到Limit的內容
2. 得到去除Limit以後所有行數

SELECT語句中經常可能用LIMIT限制返回行數。有時候可能想要知道如果沒有LIMIT會返回多少行,但又不想再執行一次相同語句。那麼,在SELECT查詢中包含SQL_CALC_FOUND_ROWS選項,然後執行FOUND_ROWS()就可以了:

select SQL_CALC_FOUND_ROWS * FROM tbl_name WHERE id > 100 LIMIT 10;
SELECT FOUND_ROWS();

其中SQL_CALC_FOUND_ROWS 告訴Mysql將sql所處理的行數記錄下來,FOUND_ROWS() 則取到了這個紀錄。 雖然也是兩個語句,但是隻執行了一次主查詢,所以效率比原來要高很多。

  1. 如果在前一條語句中使用SQL_CALC_FOUND_ROWS選項,FOUND_ROWS()將返回第一條語句沒有LIMIT時返回的行數。
  2. 如果在前一條語句中沒有使用SQL_CALC_FOUND_ROWS選項,FOUND_ROWS()將返回前一條語句實際返回的行數。
    如果使用 SELECT SQL_CALC_FOUND_ROWS,MySQL必須計算所有結果集的行數。儘管這樣,總比再執行一次不使用LIMIT的查詢要快多了吧,因為那樣結果集要返回客戶端滴。(另外:應該不單是沒有將結果集返回的原因,還有原因可能是比如LIKE之類比較費勁的SQL不需要再去勞累一次。)

    – 注意下面語句中的條件 LIKE
    SELECT SQL_CALC_FOUND_ROWS * FROM tbl_name WHERE Name LIKE ‘%string%’ id > 100 LIMIT 10;
    SELECT FOUND_ROWS();

    – 上面語句等價於下面語句,但效能方面應該提升非常非常的明顯:
    SELECT COUNT(*) FROM tbl_name WHERE Name LIKE ‘%string%’ ;
    SELECT * FROM tbl_name WHERE Name LIKE ‘%string%’ id > 100 LIMIT 10;