Qt数据库应用11-通用数据生成器
## 一、前言有两种应用场景需要用到数据生成器,一种是需要测试数据库性能,比如在100万条和1000万条记录的时候对比查询或更新语句执行耗时,一种是随机模拟生成一堆数据,用来测试程序的性能,看下程序中到了百万千万级别的数据量的时候,程序的代码执行是否受影响,影响有大等。很多人觉得sqlite数据库性能超过几十万就不行,于是亲自用这个数据发生器随机模拟生成了一亿条记录,测试下来发现性能有损失,但是不像传说中的垃圾,起码还是完全可用的,只要注意索引要建好,文件体积比较大就是,文件体积膨胀到了1.2GB,估计性能损耗很大程度上在磁盘读写。
通过对各种数据库(sqlite、postgres、mysql、sqlserver等)不同数据量阶段(1万条、100万条、1000万条等)做不同的sql语句处理(查询、插入、删除、更新),Qt内置了sqlite数据库,所以对sqlite的支持是最快最友好的,其次是postgresql数据库、然后是mysql,支持最差的性能最低的是ODBC模式连接的数据库,比如sqlserver数据库必须用odbc的形式连接,由于odbc是一个中间层,理论上性能也是肯定没有直接连接处理快,不过纵观各种用Qt写的项目的场景,很少是需要千万级别亿级别的数据量的,真的到了这个程度可以考虑分库分表来解决。
## 二、功能特点1. 同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。
2. 一个数据库类即可管理本地数据库通信,也支持远程数据库通信等。
3. 数据库线程支持执行各种sql语句,包括单条和批量。
4. 组件中的所有类打印信息、错误信息、执行结果都信号发出去。
5. 集成数据库通用翻页类(负责具体处理逻辑),搭配分页导航控件(负责外观),形成超级牛逼的翻页控件。
6. 集成数据库自动清理类,设定最大记录数后台自动清理早期数据。
7. 集成自定义委托类,支持复选框、文本框、下拉框、日期框、微调框、进度条等。
8. 同时支持Qt4-Qt6,亲测Qt4.6到Qt6.3任意版本,任意系统和编译器。
9. 本组件无故障 360天7乘24小时 运行在至少上万个现场,商业级别品质保证。
10. 每个类都对应完整详细的使用示例,注释详细,非常适合阅读学习。
11. 可以作为独立的程序运行,比如自动清理早期数据,同步数据到云端。
12. 全部线程处理,不卡界面,自动重连数据库。
13. 普通测试情况,sqlite数据库,数据库发生器每秒钟插入1000条记录约0.003秒钟,同时自动清理数据类每秒钟删除1000条记录约0.13秒,不同线程互不干扰。
## 三、体验地址1. 体验地址:[
2. 国内站点:[)
3. 国际站点:[)
4. 个人主页:[)
5. 知乎主页:[/)
## 四、效果图
## 五、相关代码void frmDbCreat::on_btnOpen_clicked{ if (ui-btnOpen-text == "打开数据库") { DbInfo dbInfo; dbInfo.connName = this-objectName; dbInfo.dbName = AppConfig::DbName2; dbInfo.hostName = AppConfig::HostName2; dbInfo.hostPort = AppConfig::HostPort2; dbInfo.userName = AppConfig::UserName2; dbInfo.userPwd = AppConfig::UserPwd2; QString dbType = AppConfig::DbType2.toUpper; if (dbType == "SQLITE") { dbInfo.dbName = DbHelper::getDbDefaultFile; } dbConn-setConnInfo(DbHelper::getDbType(dbType), dbInfo); if (dbConn-openDb) { dbConn-start; ui-btnOpen-setText("关闭数据库"); } else { QString error = dbConn-getDatabase.lastError.text; QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3); } } else { dbConn-stop; dbConn-closeDb; ui-btnOpen-setText("打开数据库"); on_btnClear_clicked; } QTimer::singleShot(100, this, SLOT(getMaxID)); QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked));}void frmDbCreat::on_btnCopy_clicked{ //将数据库设置参数一键粘贴过来 ui-cboxDbType-setCurrentIndex(ui-cboxDbType-findText(AppConfig::LocalDbType)); ui-txtDbName-setText(AppConfig::LocalDbName); ui-txtHostName-setText(AppConfig::LocalHostName); ui-txtHostPort-setText(QString::number(AppConfig::LocalHostPort)); ui-txtUserName-setText(AppConfig::LocalUserName); ui-txtUserPwd-setText(AppConfig::LocalUserPwd);}void frmDbCreat::getMaxID{ if (!dbConn-getOk) { return; } //根据插入sql语句取出对应的表名和自增字段 QString sqlColumn = AppConfig::SqlColumn2; QString sqlValue = AppConfig::SqlValue2; if (sqlValue.contains("AUTO_INCREMENT")) { sqlColumn.replace("insert into ", ""); sqlValue.replace("values", ""); QString tableName = sqlColumn.split("(").first; sqlColumn.replace(tableName, ""); sqlColumn.replace("(", ""); sqlColumn.replace(")", ""); sqlValue.replace("(", ""); sqlValue.replace(")", ""); QStringList listColumn = sqlColumn.split(","); QStringList listValue = sqlValue.split(","); int index = listValue.indexOf("'AUTO_INCREMENT'"); QString columnName = listColumn.at(index); //取出最大记录数 maxID = DbHelper::getMaxID(tableName, columnName, dbConn-getDatabase); }}void frmDbCreat::on_btnDo_clicked{ if (!dbConn-getOk) { return; } QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2; //qDebug TIMEMS sql; QStringList sqls; for (int i = 0; i AppConfig::Count2; ++i) { QString temp = sql; //替换自增ID maxID++; temp.replace("AUTO_INCREMENT", QString::number(maxID)); //替换时间 temp.replace("DATETIME", DATETIME); sqls temp; } dbConn-append(sqls);}void frmDbCreat::on_btnCount_clicked{ dbConn-selectCount("LogInfo", "LogID", "where 1=1");}void frmDbCreat::on_btnStart_clicked{ if (ui-btnStart-text == "启动服务") { on_btnDo_clicked; timer-start; ui-btnStart-setText("停止服务"); } else { timer-stop; ui-btnStart-setText("启动服务"); }}