YCSB and TPC

YCSB and TPC"/>

YCSB and TPC

一、编译安装MySQL

下载mysql5.7.28源码

/
Select Operating System 选择 Source Code
Select OS version 选择 All Operating Systems
选择带有boost的版本

安装系统包

apt -y install make cmake gcc g++ perl bison libaio-dev libncurses5 libncurses5-dev libnuma-dev libssl-dev

这里可能需要安装低版本的openssl
1、下载源码包：

wget .1.0g.tar.gz   

2、安装到/usr/local/ssl/目录下：

tar zxvf openssl-1.1.0g.tar.gz    cd openssl-1.1.0g./config --prefix=/usr/local/ssl 

这里可能报错：
在 Configure文件和 test/build.info这个文件

 use if $^O ne "VMS", 'File::Glob' => qw/glob/;

改成

 use if $^O ne "VMS", 'File::Glob' => qw/:glob/;

make -j8
make install -j8 mv -f /usr/bin/openssl /usr/bin/openssl.oldmv -f /usr/include/openssl /usr/include/openssl.oldln  -s /usr/local/ssl/bin/openssl /usr/bin/openssl    #修改软链，指向新版本的openssl路径ln -s /usr/local/ssl/include/openssl /usr/include/opensslecho "/usr/local/ssl/lib">>/etc/ld.so.conf #添加so库的路径，添加完成之后，运行ldconfig ,将新增的so 文件缓存到/etc/ld.so.cache中；ldconfig -v    openssl version -a   #确认版本是否为1.1.0g

添加mysql用户

groupadd mysql
useradd -r -g mysql mysql

预制一些目录

mkdir -p /mnt/install  # 存放安装后的软件
mkdir -p /mnt/data  # 存放数据
mkdir -p /mnt/log  # 存放日志
chown -R mysql:mysql /mnt

解压

tar -zxf mysql-boost-5.7.28.tar.gz

预编译

cmake -DMYSQL_UNIX_ADDR=/mnt/install -DMYSQL_UNIX_ADDR=/mnt/install/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DMYSQL_DATADIR=/mnt/data -DMYSQL_TCP_PORT=3306  -DWITH_BOOST=boost -DWITH_SSL=/usr/local/ssl
# cmake -DMYSQL_UNIX_ADDR=/usr/local/mysql -DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DMYSQL_DATADIR=/mnt/data -DMYSQL_TCP_PORT=3306  -DWITH_BOOST=boost -DWITH_SSL=/usr/local/ssl

编译参数的参考文档：.7/en/source-configuration-options.html

编译

make -j8

安装

指定安装目录

vim cmake_install.cmake

修改AKE_INSTALL_PREFIX "/mnt/install"为目标目录

make install -j8

修改安装目录的所有者和所属组

chown -R mysql:mysql /mnt

初始化，生成一个临时的mysql root用户密码

/mnt/install/bin/mysqld --initialize --user=mysql
# /usr/local/mysql/bin/mysqld --initialize --user=mysql

打印初始密码：A temporary password is generated for root@localhost: Br-)u/%:=2:9
这个密码也会写入 /root/.mysql_secret中

启动mysql，修改root密码为123456

/mnt/install/support-files/mysql.server start # 启动后，按回车回到命令行 /usr/local/mysql/support-files/mysql.server start
/mnt/install/bin/mysql -u root -p  #/usr/local/mysql/bin/mysql -u root -p
Enter Password: # 这里输入刚才生成的密码
mysql> set password for root@localhost = password('123456');

这里可能会报错mysql.server: 259: cd: can’t cd to /usr/local/mysql
解决方案：
修改 /mnt/install/support-files/mysql.server，将文件中的datadir和basedir路径配置成自定义的路径 即basedir=/mnt/install datadir=/mnt/data

目前不太方便，系统没有mysql这个命令，没有用设置开机启动

先停止mysql

/mnt/install/support-files/mysql.server stop
# /usr/local/mysql/support-files/mysql.server stop

启动mysql服务，注册成systemd服务

cp /mnt/install/support-files/mysql.server /etc/init.d/mysqld # cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
/etc/init.d/mysqld start # 这一步自动注册成systemd服务了，可以使用systemctl管理mysql了
chmod +x /etc/init.d/mysqld
systemctl stop mysqld
systemctl start mysqld
systemctl enable mysqld

添加mysql、mysqldump、mysqlpump等一系列命令

vim /etc/profile

文件末尾追加

PATH=$PATH:/mnt/install/bin
# PATH=$PATH:/usr/local/mysql/bin

验证mysql命令

source /etc/profile
mysql -u root -p 
Enter password: 123456

二、YCSB-jdbc

下载打包好的YCSB

curl -O --location .17.0/ycsb-0.17.0.tar.gz
tar xfvz ycsb-0.17.0.tar.gz
cd ycsb-0.17.0

安装java

sudo apt install openjdk-8-jdk -y

基于mysql版本下载

我的是5.7的用的mysql-connector-java-5.1.38-bin.jar

修改ycsb配置

vim ycsb-0.17.0/jdbc-binding/conf/db.properties

db.driver=com.mysql.jdbc.Driver
# jdbc.fetchsize=20
db.url=jdbc:mysql://127.0.0.1:3306/ycsb?useSSL=false
db.user=root
db.passwd=123456

安装python2

sudo apt install python2
#设置软连接
ln -s  /usr/bin/python2  /usr/bin/python

三、运行YCSB on MySQL

创建数据库

mysql -u root -p
CREATE DATABASE ycsb;
USE ycsb;
CREATE TABLE usertable (YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FIELD3 TEXT, FIELD4 TEXT, FIELD5 TEXT, FIELD6 TEXT, FIELD7 TEXT, FIELD8 TEXT, FIELD9 TEXT);

load数据

bin/ycsb load jdbc -P workloads/workloada -P ./jdbc-binding/conf/db.properties -cp ./jdbc-binding/lib/mysql-connector-java-5.1.38-bin.jar

可能会报错，jdk问题：Caused by: javax.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate
解决办法：

cp /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security    /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security.bak
vim /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security

删除SSLv3, TLSv1, TLSv1.1

复制data目录

为了方便后续测试不再重新load，可以选择将/mnt/data目录copy到其他地方做备份，
当重新测试时， 先关闭mysql

sudo systemctl stop mysqld

删除/mnt/data/
然后复制回之前的版本，并修改所属者

sudo chown -R mysql:mysql /mnt/data

然后重启mysql

sudo systemctl start mysqld

run测试

bin/ycsb run jdbc -P workloads/workloada -P ./jdbc-binding/conf/db.properties -cp ./jdbc-binding/lib/mysql-connector-java-5.1.38-bin.jar

如果要更换数据集，重建表即可

mysql -u root -p
mysql > drop database ycsb;
mysql > create database ycsb;
mysql > USE ycsb;
mysql > CREATE TABLE usertable (YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FIELD3 TEXT, FIELD4 TEXT, FIELD5 TEXT, FIELD6 TEXT, FIELD7 TEXT, FIELD8 TEXT, FIELD9 TEXT);

四、TPCC安装

下载源码

git clone .git
cd tpcc-mysql/src/

编译

sudo apt-get install libmysqlclient-dev
make

五、运行TPC-C on MySQL

配置数据库

cd ..
mysql -u root -p
mysql > create database tpcc1000
mysql > exit

也可以运行mysqladmin来创建数据库：

mysqladmin create tpcc1000

可能的问题：sudo: mysqladmin: command not found
解决办法：
直接输入命令mysql或mysqladmin会发现提示命令不存在，这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令，我们需要做的就是映射一个链接到/usr/bin目录下，相当于建立一个链接文件。
首先得知道mysql命令或mysqladmin命令的完整路径，比如mysql的路径是：/usr/local/mysql/bin/mysql，我们则可以这样执行命令：

ln -s /usr/local/mysql/bin/mysql /usr/bin
ln -s /usr/local/mysql/bin/mysqladmin /usr/bin

当提示mysqldump: command not found时同样可以通过此方法来解决。

#设置表
mysql -u root -p tpcc1000 < create_table.sql
mysql -u root -p tpcc1000 < add_fkey_idx.sql

load 数据

./tpcc_load -h 127.0.0.1 -P 3306 -d tpcc1000 -u root -p "123456" -w 10

复制data目录

为了方便后续测试不再重新load，可以选择将/mnt/data目录copy到其他地方做备份，
当重新测试时， 先关闭mysql

sudo systemctl stop mysqld

删除/mnt/data/
然后复制回之前的版本，并修改所属者

sudo chown -R mysql:mysql /mnt/data

然后重启mysql

sudo systemctl start mysqld

run测试

./tpcc_start -h 127.0.0.1 -P 3306 -d tpcc1000 -u root -p "123456" -w 10 -c 4 -r 10 -l 100

如果要更换数据集，重建表即可

mysql -u root -p
mysql > drop database tpcc1000;