詳解yii2實現(xiàn)分庫分表的方案與思路
前言
大家可以從任何一個gii生成model類開始代碼上溯，會發(fā)現(xiàn)：yii2的model層基于ActiveRecord實現(xiàn)DAO訪問數(shù)據(jù)庫的能力。
而ActiveRecord的繼承鏈可以繼續(xù)上溯，最終會發(fā)現(xiàn)model其實是一個component，而component是yii2做IOC的重要組成部分，提供了behaviors，event的能力供繼承者擴展。
（IOC，component，behaviors，event等概念可以參考http://www.digpage.com/學習）
先不考慮上面的一堆概念，一個站點發(fā)展歷程一般是1個庫1個表，1個庫N個表，M個庫N個表這樣走過來的，下面拿訂單表為例，分別說說。
1）1庫1表：yii2默認采用PDO連接mysql，框架默認會配置一個叫做db的component作為唯一的mysql連接對象，其中dsn分配了數(shù)據(jù)庫地址，數(shù)據(jù)庫名稱，配置如下：
'components' => [ 'db' => [ 'class' => 'yii\db\Connection', 'dsn' => 'mysql:host=10.10.10.10;port=4005;dbname=wordpress', 'username' => 'wp', 'password' => '123', 'charset' => 'utf8', ],
這就是yii2做IOC的一個典型事例，model層默認就會取這個db做為mysql連接對象，所以model訪問都經過這個connection，可以從ActiveRecord類里看到。
class ActiveRecord extends BaseActiveRecord {
/**
* Returns the database connection used by this AR class.
* By default, the "db" application component is used as the database connection.
* You may override this method if you want to use a different database connection.
* @return Connection the database connection used by this AR class.
*/
public static function getDb()
{
return Yii::$app->getDb();
}
追蹤下去，最后會走yii2的ioc去創(chuàng)建名字叫做”db”的這個component返回給model層使用。
abstract class Application extends Module {
/**
* Returns the database connection component.
* @return \yii\db\Connection the database connection.
*/
public function getDb()
{
return $this->get('db');
}
yii2上述實現(xiàn)決定了只能連接了1臺數(shù)據(jù)庫服務器，選擇了其中1個database，那么具體訪問哪個表，是通過在Model里覆寫tableName這個static方法實現(xiàn)的，ActiveRecord會基于覆寫的tableName來決定表名是什么。
class OrderInfo extends \yii\db\ActiveRecord
{
/**
* @inheritdoc
* @return
*/
public static function tableName()
{
return 'order_info';
}
2）1庫N表：因為orderInfo數(shù)據(jù)量變大，各方面性能指標有所下降，而單機硬件性能還有較大冗余，于是可以考慮分多張order_info表，均攤數(shù)據(jù)量。假設我們要份8張表，那么可以依據(jù)uid（用戶ID）%8來決定訂單存儲在哪個表里。
然而1庫1表的時候，tableName()返回是的order_info，于是理所應當?shù)闹剌d這個函數(shù)，提供一種動態(tài)變化的能力即可，例如：
class OrderInfo extends \yii\db\ActiveRecord
{
private static $partitionIndex_ = null; // 分表ID
/**
* 重置分區(qū)id
* @param unknown $uid
*/
private static function resetPartitionIndex($uid = null) {
$partitionCount = \Yii::$app->params['Order']['partitionCount'];
self::$partitionIndex_ = $uid % $partitionCount;
}
/**
* @inheritdoc
*/
public static function tableName()
{
return 'order_info' . self::$partitionIndex_;
}
提供一個resetParitionIndex($uid)函數(shù)，在每次操作model之前主動調用來標記分表的下標，并且重載tableName來為model層拼接生成本次操作的表名。
3）M庫N表：1庫N表逐漸發(fā)展，單機存儲和性能達到瓶頸，只能將數(shù)據(jù)分散到多個服務器存儲，于是提出了分庫的需求。但是從”1庫1表”的框架實現(xiàn)邏輯來看，model層默認取db配置作為mysql連接的話，是沒有辦法訪問多個mysql實例的，所以必須解決這個問題。
一般產生這個需求，產品已經進入中期穩(wěn)步發(fā)展階段。有2個思路解決M庫問題，1種是yii2通過改造直連多個地址進行訪問多庫，1種是yii2仍舊只連1個地址，而這個地址部署了dbproxy，由dbproxy根據(jù)你訪問的庫名代理連接多個庫。
如果此前沒有熟練的運維過dbproxy，并且php集群規(guī)模沒有大到單個mysql實例客戶端連接數(shù)過多拒絕服務的境地，那么第1種方案就可以解決了。否則，應該選擇第2種方案。
無論選擇哪種方案，我們都應該進一步改造tableName()函數(shù)，為database名稱提供動態(tài)變化的能力，和table動態(tài)變化類似。
class OrderInfo extends \yii\db\ActiveRecord {
private static $databaseIndex_ = null; // 分庫ID
private static $partitionIndex_ = null; // 分表ID
/**
* 重置分區(qū)id
* @param unknown $uid
*/
private static function resetPartitionIndex($uid = null) {
$databaseCount = \Yii::$app->params['Order']['databaseCount'];
$partitionCount = \Yii::$app->params['Order']['partitionCount'];
// 先決定分到哪一張表里
self::$partitionIndex_ = $uid % $partitionCount;
// 再根據(jù)表的下標決定分到哪個庫里
self::$databaseIndex_ = intval(self::$partitionIndex_ / ($partitionCount / $databaseCount));
}
/**
* @inheritdoc
*/
public static function tableName()
{
$database = 'wordpress' . self::$databaseIndex_;
$table = 'order_info' . self::$partitionIndex_;
return $database . '.' . $table;
}
在分表邏輯基礎上稍作改造，即可實現(xiàn)分庫。假設分8張表，那么分別是00,01,02,03…07，然后決定分4個庫，那么00，01表在00庫，02，03表在01庫，04，05表在02庫，06，07表在03庫，根據(jù)這個規(guī)律對應的計算代碼如上。最終ActiveRecord生效的代碼都會類似于”select * from wordpress0.order_info1″，這樣就可以解決連接dbproxy訪問多庫的需求了。
那么yii直接訪問多Mysql實例怎么做呢，其實類似tableName() ，我們只需要覆蓋getDb()方法即可，同時要求我們首先配置好4個mysql實例，從而可以通過yii的application通過IOC設計來生成多個db連接，所有改動如下：
先配置好4個數(shù)據(jù)庫，給予不同的component id以便區(qū)分，它們連接了不同的mysql實例，其中dsn里的dbname只要存在即可(防止PDO執(zhí)行use database時候不存在報錯)，真實的庫名是通過tableName()動態(tài)變化的。
'db0' => [ 'class' => 'yii\db\Connection', 'dsn' => 'mysql:host=10.10.10.10;port=6184;dbname=wordpress0', 'username' => 'wp', 'password' => '123', 'charset' => 'utf8', // 'tablePrefix' => 'ktv_', ], 'db1' => [ 'class' => 'yii\db\Connection', 'dsn' => 'mysql:host=10.10.10.11;port=6184;dbname=wordpress2', 'username' => 'wp', 'password' => '123', 'charset' => 'utf8', // 'tablePrefix' => 'ktv_', ], 'db2' => [ 'class' => 'yii\db\Connection', 'dsn' => 'mysql:host=10.10.10.12;port=6184;dbname=wordpress4', 'username' => 'wp', 'password' => '123', 'charset' => 'utf8', // 'tablePrefix' => 'ktv_', ], 'db3' => [ 'class' => 'yii\db\Connection', 'dsn' => 'mysql:host=10.10.10.13;port=6184;dbname=wordpress6', 'username' => 'wp', 'password' => '123', 'charset' => 'utf8', // 'tablePrefix' => 'ktv_', ],
覆寫getDb()方法，根據(jù)庫下標返回不同的數(shù)據(jù)庫連接即可。
class OrderInfo extends \yii\db\ActiveRecord
{
private static $databaseIndex_ = null; // 分庫ID
private static $partitionIndex_ = null; // 分表ID
/**
* 重置分區(qū)id
* @param unknown $uid
*/
private static function resetPartitionIndex($uid = null) {
$databaseCount = \Yii::$app->params['Order']['databaseCount'];
$partitionCount = \Yii::$app->params['Order']['partitionCount'];
// 先決定分到哪一張表里
self::$partitionIndex_ = $uid % $partitionCount;
// 再根據(jù)表的下標決定分到哪個庫里
self::$databaseIndex_ = intval(self::$partitionIndex_ / ($partitionCount / $databaseCount));
}
/**
* 根據(jù)分庫分表,返回庫名.表名
*/
public static function tableName()
{
$database = 'wordpress' . self::$databaseIndex_;
$table = 'order_info' . self::$partitionIndex_;
return $database . '.' . $table;
}
/**
* 根據(jù)分庫結果,返回不同的數(shù)據(jù)庫連接
*/
public static function getDb()
{
return \Yii::$app->get('db' . self::$databaseIndex_);
}
這樣，無論是yii連接多個mysql實例，還是yii連接1個dbproxy，都可以實現(xiàn)了。
網上有一些例子，試圖通過component的event機制，通過在component的配置中指定onUpdate,onBeforeSave等自定義event去hook不同的DAO操作來隱式（自動）的變更database或者connection或者tablename的做法，都是基于model object才能實現(xiàn)的，如果直接使用model class的類似updateAll()方法的話，是繞過DAO直接走了PDO的，不會觸發(fā)這些event，所以并不是完備的解決方案。
這樣的方案原理簡單，方案對框架無侵入，只是每次DB操作前都要顯式的resetPartitionIndex($uid)調用。如果要做到用戶無感知，那必須對ActiveRecord類進行繼承，進一步覆蓋所有class method的實現(xiàn)以便插入選庫選表邏輯，代價過高。
補充：關于分庫分表的一些實踐細節(jié)，分表數(shù)量建議2^n，例如n=3的情況下分8張表，然后確定一下幾個庫，庫數(shù)量是2^m，但要<=表數(shù)量，例如這里1個庫，2個庫，4個庫，8個庫都是可以的，表順序坐落在這些庫里即可。
為什么數(shù)量都是2指數(shù)，是因為如果面臨擴容需求，數(shù)據(jù)的遷移將方便一些。假設分了2張表，數(shù)據(jù)按uid%2打散，要擴容成4張表，那么只需要把表0的部分數(shù)據(jù)遷移到表2，表1的部分數(shù)據(jù)遷移到表3，即可完成擴容，也就是uid%2和uid%4造成的遷移量是很小的，這個可以自己算一下。
總結
以上就是關于yii2實現(xiàn)分庫分表的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
- php 分庫分表hash算法
- 1億條數(shù)據(jù)如何分表100張到Mysql數(shù)據(jù)庫中（PHP）
- PHP操作mysql數(shù)據(jù)庫分表的方法
- php實現(xiàn)mysql數(shù)據(jù)庫分表分段備份
- Yii2.0高級框架數(shù)據(jù)庫增刪改查的一些操作
- YII2數(shù)據(jù)庫查詢實踐
- Yii2框架數(shù)據(jù)庫簡單的增刪改查語法小結
- yii2.0數(shù)據(jù)庫遷移教程【多個數(shù)據(jù)庫同時同步數(shù)據(jù)】
- Yii2——使用數(shù)據(jù)庫操作匯總（增刪查改、事務）
- 使用Yii2實現(xiàn)主從數(shù)據(jù)庫設置
相關文章
PHP?ceil()函數(shù)浮點數(shù)向上取整實現(xiàn)示例
這篇文章主要為大家介紹了PHP?ceil()函數(shù)實現(xiàn)浮點數(shù)向上取整示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
下面小編就為大家?guī)硪黄猵hp 人員權限管理(RBAC)實例(推薦)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
這篇文章主要介紹了PHP實現(xiàn)的簡單三角形、矩形周長面積計算器分享,本文的實現(xiàn)相對較簡單,同時提供了代碼文件下載,需要的朋友可以參考下2014-11-11
php桌面中心(三) 修改數(shù)據(jù)庫...2007-03-03
本篇文章主要介紹了PHP實現(xiàn)RTX發(fā)送消息提醒的實例代碼，具有一定的參考價值，有興趣的可以了解一下。2017-01-01
這篇文章主要為大家詳細介紹了PHP+Ajax+JS實現(xiàn)多圖上傳的相關資料，具有一定的參考價值，感興趣的朋友可以參考一下2016-05-05
這篇文章主要介紹了簡述PHP7.4 新特性和廢棄的功能，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
這篇文章主要介紹了Yii CGridView用法,結合實例形式分析了CGridView的功能、用法與相關屬性用法,具有一定參考借鑒價值,需要的朋友可以參考下2016-07-07
這篇文章主要介紹了laravel框架語言包拓展實現(xiàn)方法,結合實例形式分析了laravel語言包的具體配置與使用方法,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了給WordPress的編輯后臺添加提示框的代碼實例分享,即制作一個鼠標指向后顯示詳細信息的效果,需要的朋友可以參考下2015-12-12