接上前一篇文章，依旧是分表存储数据，但我们利用PHP更一步的封装了CURD操作，而不再是单纯的`select`操作。
同时，把伪线程的多个PDO，修改回单个PDO实例。
对全表检索 优化成为单表检索。

具体代码如下：
```php
<?php
// +----------------------------------------------------------------------
// | PHP+MySQL+hash切表封装Model的CURD - 处理亿级数据查询（优化到毫秒级）
// +----------------------------------------------------------------------
// | Copyright (c) 2018 https://blog.junphp.com All rights reserved.
// +----------------------------------------------------------------------
// | Licensed ( http://www.apache.org/licenses/LICENSE-2.0 )
// +----------------------------------------------------------------------
// | Author: 小黄牛 <1731223728@qq.com>
// +----------------------------------------------------------------------

class Mysql{
    /*
     * 数据库参数
    */
    protected $database = 'youtube';
    protected $host     = '127.0.0.1';
    protected $port     = 3306;
    protected $dsn      = 'mysql:dbname=youtube;host=127.0.0.1;port=3306';
    protected $username = 'root';
    protected $password = 'root';
    /*
     * 模型表名
    */
    protected $model    = 'model';
    /*
     * 博主表前缀
    */
    protected $prefix   = 'blog_list_';
    /*
     * 数据库连接实例
    */
    protected $DB = null;
     /*
     * 全部表名
    */
    protected $table_list = [];

/**
     * 初始化数据库连接
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @return void
    */
    public function __construct() {
        if (empty($this->DB)) {
            try {
                $this->DB = new PDO('mysql:dbname='.$this->database.';host='.$this->host.';port='.$this->port, $this->username, $this->password);
                $this->DB->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
                $this->DB->exec("SET NAMES utf8");
                $this->get_table_list();
            } catch(PDOException $e) {
                die ('连接失败，错误信息：'.$e->getMessage());
            }
        }
    }

/**
     * 立即释放数据库连接
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @return void
    */
    public function __destruct() {
        $this->DB = null;
    }

/**
     * 读取数据库全部表名
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @return void
    */
    private function get_table_list() {
        $sql    = 'SHOW TABLES';
        $list   = $this->query($sql);
        $tables = [];
        foreach ($list as $key=>$value) { 
            # 我们只保存博主数据分表
            if (stripos($value[0], $this->prefix) !== false) {
                $tables[] = $value[0];
            }
        }
        $this->table_list = $tables;
    }

/**
     * 执行查询语句
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $sql
     * @return mixed
    */
    private function query($sql = '') {
        $stmt = $this->DB->query($sql);
        $stmt->setFetchMode(\PDO::FETCH_NUM);
        $list = $stmt->fetchAll();
        return $list;
    }

/**
     * 新增数据库模型
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $name 表名
     * @return bool
    */
    private function add_model($name = '') {
        $sql   = "SHOW CREATE TABLE `{$this->model}`;";
        $table = str_replace([$this->model, '模板表，之后的表都是copy该表结构'], [$name, '实例表'], $this->query($sql)[0][1]);
        try {
            $res = $this->DB->exec($table);
            if ($res !== false) return true;
        } catch(PDOException $e) {}

return false;
    }

/**
     * 简单hash算法，生成表名
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $channel 查询关键词条件ID，一定要是唯一的值
     * @return string
    */
    private function get_hash_table($channel) {
        $str = crc32($channel);
        if ($str < 0) {
            $hash = "0".substr(abs($str), 0, 1);
        } else {
            $hash = substr($str, 0, 2);
        }
        return $this->prefix . $hash;
    } 
    
    /**
     * 执行insert、delete操作
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $sql 数据库语句
     * @param string $channel 查询关键词条件ID，一定要是唯一的值
     * @return bool
    */
    public function exce($sql, $channel) {
        $table = $this->get_hash_table($channel);
        $res   = $this->vif_table($table);
        if (!$res) {
            // 表不存在就先建表
            $this->add_model($table);
        }

$sql   = str_replace('表名', $table, $sql);

try {
            $res = $this->DB->exec($sql);
            
            if ($res !== false) return true;
        } catch(PDOException $e) {
            # echo $e->getMessage();
        }

return false;
    }

/**
     * 执行update操作
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $sql 数据库语句
     * @param string $start_channel where的条件ID，一定要是唯一的值
     * @param string $end_channel 被修改掉的ID，一定要是唯一的值（与start不一致的时候传，一致不用传）
     * @return bool
    */
    public function update($sql, $start_channel, $end_channel=null) {
        $table = $this->get_hash_table($start_channel);
        $res   = $this->vif_table($table);
        if (!$res) {
            // 表都没有，改什么改
            return false;
        }

# 开启一个事务
        $this->DB->beginTransaction();

# 先不管，我们先改掉当前表的值
        $sql   = str_replace('表名', $table, $sql);
        try {
            $res = $this->DB->exec($sql);
            if ($res !== false) {
                # 现在我们来判断下如果有end的情况下
                if ($end_channel) {
                    $table2 = $this->get_hash_table($end_channel);
                    $res   = $this->vif_table($table2);
                    if (!$res) {
                        # 表不存在就先建表
                        $this->add_model($table2);
                    }

$sql = 'SELECT * FROM '.$table." WHERE channel = '".$end_channel."';";
                    $res  = $this->DB->query($sql);

if ($res) {
                        $res->setFetchMode(PDO::FETCH_ASSOC);
                        $info = $res->fetch();
                        # 组装新增语句
                        $sql = 'INSERT INTO '.$table2.' SET ';
                        foreach ($info as $key=>$val) {
                            $sql .= $key.'='."'".$val."',";
                        }
                        $sql = rtrim($sql, ',').';';

# 把数据COPY过去
                        try {
                            $res = $this->DB->exec($sql);
                            # 成功了，我们还得把老数据删了
                            if ($res !== false) {
                                $sql = 'DELETE FROM '.$table." WHERE channel = '".$end_channel."';";
                                try {
                                    $res = $this->DB->exec($sql);
                                    if ($res !== false) {
                                        # 提交事务
                                        $this->DB->commit();
                                        return true;
                                    }
                                } catch(PDOException $e) {
                                    # echo $e->getMessage();
                                }
                            }
                        } catch(PDOException $e) {
                            # echo $e->getMessage();
                        }
                    }
                } else { 
                    # 提交事务
                    $this->DB->commit();
                    return true;
                }
            }
        } catch(PDOException $e) {}
        
        # 回滚事务
        $this->DB->rollBack();
        return false;
    }

/**
     * 验证数据表是否存在
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $table 表名
     * @return bool
    */
    public function vif_table($table) {
        $sql   = "SHOW CREATE TABLE `{$table}`;";

try {
            $res = $this->DB->query($sql)->fetchAll(PDO::FETCH_GROUP);
            if ($res !== false) {
                return true;
            }
        } catch(PDOException $e) {}

return false;
    }

/**
     * 数据查询-多条
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $sql 数据库语句
     * @param string $channel 查询关键词条件ID，一定要是唯一的值
     * @return bool|array
    */
    public function select($sql, $channel) {
        $table = $this->get_hash_table($channel);
        $res   = $this->vif_table($table);
        if (!$res) {
            // 表都不存在，搜啥搜
            return false;
        }

$sql   = str_replace('表名', $table, $sql);

try {
            $res  = $this->DB->query($sql);
            if (!$res) return false;

$res->setFetchMode(PDO::FETCH_ASSOC);
            return $res->FetchAll();
        } catch(PDOException $e) {
            # echo $e->getMessage();
        }

return false;
    }

/**
     * 数据查询-单表
     * @todo 无
     * @author 小黄牛
     * @version v1.0.0.1 + 2018.12.25
     * @deprecated 暂不弃用
     * @global 无
     * @param string $sql 数据库语句
     * @param string $channel 查询关键词条件ID，一定要是唯一的值
     * @return bool|array
    */
    public function find($sql, $channel) {
        $table = $this->get_hash_table($channel);
        $res   = $this->vif_table($table);
        if (!$res) {
            // 表都不存在，搜啥搜
            return false;
        }

$sql   = str_replace('表名', $table, $sql);

try {
            $res  = $this->DB->query($sql);
            if (!$res) return false;
            
            $res->setFetchMode(PDO::FETCH_ASSOC);
            return $res->fetch();
        } catch(PDOException $e) {
            # echo $e->getMessage();
        }

return false;
    }
}

echo '<pre>';
$start = microtime(true);
$obj = new Mysql();

# 测试新增
var_dump($obj->exce('INSERT INTO `表名` SET `channel`="11231asd11";', '11231asd11'));
var_dump($obj->exce('INSERT INTO `表名` SET `channel`="adsatuyas1";', 'adsatuyas1'));
var_dump($obj->exce('INSERT INTO `表名` SET `channel`="sdatuyas12";', 'sdatuyas12'));
var_dump($obj->exce('INSERT INTO `表名` SET `channel`="asdkjhk123";', 'asdkjhk123'));
# 测试修改
var_dump($obj->update('UPDATE `表名` SET `channel`="1" WHERE `channel`="11231asd11";', '11231asd11', '1'));
# 测试删除
var_dump($obj->exce('DELETE FROM `表名` WHERE `channel`="1";', '1'));

# 多条查询
var_dump($obj->select('SELECT uuid FROM `表名` WHERE `channel`="asdkjhk123";', 'asdkjhk123'));
# 单条查询
var_dump($obj->find('SELECT uuid FROM `表名` WHERE `channel`="adsatuyas1";', 'adsatuyas1'));

echo '<br/>耗时：'.round(microtime(true)-$start, 7).'S<br/>';
echo '内存开销：'.memory_get_usage() / 1024 .'KB';
```
该方案的检索速度，主要依靠单表的数据量，hash生成的单表数据量依旧有超越千万级的可能，所以到那时候的朋友，只需要进一步的优化hash算法即可。

该篇文章还有更进一步优化的方案，就是加入`merge`存储引擎来进行分表存储，有兴趣的朋友，可以移步这里学习：
`https://www.cnblogs.com/phpper/p/6937896.html`

本篇文章的数据库结构如下：
```
CREATE TABLE `model` (
  `uuid` int(11) NOT NULL AUTO_INCREMENT,
  `channel` varchar(38) DEFAULT NULL,
  `t1_status` tinyint(1) DEFAULT '0',
  `t2_status` tinyint(1) DEFAULT '0',
  `t3_status` tinyint(1) DEFAULT '0',
  PRIMARY KEY (`uuid`),
  UNIQUE KEY `channel` (`channel`) USING BTREE
) ENGINE=MyISAM DEFAULT CHARSET=utf8mb4 COMMENT='频道 - 模板表，之后的表都是copy该表结构';
```

已有0条评论

添加新评论☺

如果认为本文对您有所帮助请赞助本站

支付宝扫一扫赞助

已有0条评论

添加新评论☺