Python的Django框架中的select_related函數(shù)對QuerySet 查詢的優(yōu)化

更新時間：2015年04月01日 15:11:48 作者：CuGBabyBeaR

這篇文章主要介紹了Python的Django框架中的select_related函數(shù)對QuerySet查詢的優(yōu)化,以減少數(shù)據(jù)庫的查詢次數(shù)為目的,需要的朋友可以參考下

1. 實例的背景說明

假定一個個人信息系統(tǒng)，需要記錄系統(tǒng)中各個人的故鄉(xiāng)、居住地、以及到過的城市。數(shù)據(jù)庫設(shè)計如下：

201541150650059.jpg (591×250)

Models.py 內(nèi)容如下：

from django.db import models
 
class Province(models.Model):
  name = models.CharField(max_length=10)
  def __unicode__(self):
    return self.name
 
class City(models.Model):
  name = models.CharField(max_length=5)
  province = models.ForeignKey(Province)
  def __unicode__(self):
    return self.name
 
class Person(models.Model):
  firstname = models.CharField(max_length=10)
  lastname  = models.CharField(max_length=10)
  visitation = models.ManyToManyField(City, related_name = "visitor")
  hometown  = models.ForeignKey(City, related_name = "birth")
  living   = models.ForeignKey(City, related_name = "citizen")
  def __unicode__(self):
    return self.firstname + self.lastname

注1：創(chuàng)建的app名為“QSOptimize”

注2：為了簡化起見，`qsoptimize_province` 表中只有2條數(shù)據(jù)：湖北省和廣東省，`qsoptimize_city`表中只有三條數(shù)據(jù)：武漢市、十堰市和廣州市
2. select_related()

對于一對一字段（OneToOneField）和外鍵字段（ForeignKey），可以使用select_related 來對QuerySet進行優(yōu)化
作用和方法

在對QuerySet使用select_related()函數(shù)后，Django會獲取相應外鍵對應的對象，從而在之后需要的時候不必再查詢數(shù)據(jù)庫了。以上例說明，如果我們需要打印數(shù)據(jù)庫中的所有市及其所屬省份，最直接的做法是：

>>> citys = City.objects.all()
>>> for c in citys:
...  print c.province
...

這樣會導致線性的SQL查詢，如果對象數(shù)量n太多，每個對象中有k個外鍵字段的話，就會導致n*k+1次SQL查詢。在本例中，因為有3個city對象就導致了4次SQL查詢：

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 2 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;

注：這里的SQL語句是直接從Django的logger:‘django.db.backends'輸出出來的

如果我們使用select_related()函數(shù)：

>>> citys = City.objects.select_related().all()
>>> for c in citys:
...  print c.province
...

就只有一次SQL查詢，顯然大大減少了SQL查詢的次數(shù)：

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
`QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM`QSOptimize_city`
INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`) ;

這里我們可以看到，Django使用了INNER JOIN來獲得省份的信息。順便一提這條SQL查詢得到的結(jié)果如下：

+----+-----------+-------------+----+-----------+
| id | name   | province_id | id | name   |
+----+-----------+-------------+----+-----------+
| 1 | 武漢市  |      1 | 1 | 湖北省  |
| 2 | 廣州市  |      2 | 2 | 廣東省  |
| 3 | 十堰市  |      1 | 1 | 湖北省  |
+----+-----------+-------------+----+-----------+
3 rows in set (0.00 sec)

使用方法
函數(shù)支持如下三種用法：
*fields 參數(shù)

select_related() 接受可變長參數(shù)，每個參數(shù)是需要獲取的外鍵（父表的內(nèi)容）的字段名，以及外鍵的外鍵的字段名、外鍵的外鍵的外鍵…。若要選擇外鍵的外鍵需要使用兩個下劃線“__”來連接。

例如我們要獲得張三的現(xiàn)居省份，可以用如下方式：

>>> zhangs = Person.objects.select_related('living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.living.province

觸發(fā)的SQL查詢?nèi)缦拢?br />

SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`,
`QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`,
`QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`,
`QSOptimize_province`.`name`
FROM `QSOptimize_person`
INNER JOIN `QSOptimize_city` ON (`QSOptimize_person`.`living_id` = `QSOptimize_city`.`id`)
INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`)
WHERE (`QSOptimize_person`.`lastname` = '三' AND `QSOptimize_person`.`firstname` = '張' );

可以看到，Django使用了2次 INNER JOIN 來完成請求，獲得了city表和province表的內(nèi)容并添加到結(jié)果表的相應列，這樣在調(diào)用 zhangs.living的時候也不必再次進行SQL查詢。

+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
| id | firstname | lastname | hometown_id | living_id | id | name   | province_id | id | name   |
+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
| 1 | 張    | 三    |      3 |     1 | 1 | 武漢市  |  1     | 1 | 湖北省  |
+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
1 row in set (0.00 sec)

然而，未指定的外鍵則不會被添加到結(jié)果中。這時候如果需要獲取張三的故鄉(xiāng)就會進行SQL查詢了：

>>> zhangs.hometown.province
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
`QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
WHERE `QSOptimize_city`.`id` = 3 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1

同時，如果不指定外鍵，就會進行兩次查詢。如果深度更深，查詢的次數(shù)更多。

值得一提的是，從Django 1.7開始，select_related()函數(shù)的作用方式改變了。在本例中，如果要同時獲得張三的故鄉(xiāng)和現(xiàn)居地的省份，在1.7以前你只能這樣做：

>>> zhangs = Person.objects.select_related('hometown__province','living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province

但是1.7及以上版本，你可以像和queryset的其他函數(shù)一樣進行鏈式操作：

>>> zhangs = Person.objects.select_related('hometown__province').select_related('living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province

如果你在1.7以下版本這樣做了，你只會獲得最后一個操作的結(jié)果，在本例中就是只有現(xiàn)居地而沒有故鄉(xiāng)。在你打印故鄉(xiāng)省份的時候就會造成兩次SQL查詢。
depth 參數(shù)

select_related() 接受depth參數(shù)，depth參數(shù)可以確定select_related的深度。Django會遞歸遍歷指定深度內(nèi)的所有的OneToOneField和ForeignKey。以本例說明：

>>> zhangs = Person.objects.select_related(depth = d)

d=1 相當于 select_related(‘hometown','living')

d=2 相當于 select_related(‘hometown__province','living__province')
無參數(shù)

select_related() 也可以不加參數(shù)，這樣表示要求Django盡可能深的select_related。例如：zhangs = Person.objects.select_related().get(firstname=u”張”,lastname=u”三”)。但要注意兩點：

Django本身內(nèi)置一個上限，對于特別復雜的表關(guān)系，Django可能在你不知道的某處跳出遞歸，從而與你想的做法不一樣。具體限制是怎么工作的我表示不清楚。
Django并不知道你實際要用的字段有哪些，所以會把所有的字段都抓進來，從而會造成不必要的浪費而影響性能。

小結(jié)

select_related主要針一對一和多對一關(guān)系進行優(yōu)化。
select_related使用SQL的JOIN語句進行優(yōu)化，通過減少SQL查詢的次數(shù)來進行優(yōu)化、提高性能。
可以通過可變長參數(shù)指定需要select_related的字段名。也可以通過使用雙下劃線“__”連接字段名來實現(xiàn)指定的遞歸查詢。沒有指定的字段不會緩存，沒有指定的深度不會緩存，如果要訪問的話Django會再次進行SQL查詢。
也可以通過depth參數(shù)指定遞歸的深度，Django會自動緩存指定深度內(nèi)所有的字段。如果要訪問指定深度外的字段，Django會再次進行SQL查詢。
也接受無參數(shù)的調(diào)用，Django會盡可能深的遞歸查詢所有的字段。但注意有Django遞歸的限制和性能的浪費。
Django >= 1.7，鏈式調(diào)用的select_related相當于使用可變長參數(shù)。Django < 1.7，鏈式調(diào)用會導致前邊的select_related失效，只保留最后一個。

您可能感興趣的文章: