bdc-ts

module
v0.0.0-...-730c616 Latest Latest
Warning

This package is not in the latest version of its module.

Go to latest
Published: Nov 12, 2021 License: MIT

README

时序数据库性能基准测试说明

工具基于influxdb-comparisons,以BDC-TS为基准打造的压测工具。支持以下的数据库,或者基于以下数据库改写的数据库。

一、准备工作

需要安装golang和安装测试工程

1: 安装golang
yum install golang
2: 安装测试工程

测试工程包括生成数据工具、导入工具、生成查询语句工具和查询测试工具

如果没有指定GOPATH,需要指定GOPATH
export GOPATH=/root/go  # 指定工程目录,随便指定一个地方
安装生成数据工具
go install github.com/caict-benchmark/BDC-TS/cmd/bulk_data_gen@latest
安装导入数据工具

导入数据需要根据你基于的数据库不同,安装不同的导入工具

# influx
go install github.com/caict-benchmark/BDC-TS/cmd/bulk_load_influx@latest

# ES
go install github.com/caict-benchmark/BDC-TS/cmd/bulk_load_es@latest

# OPENTSDB
go install github.com/caict-benchmark/BDC-TS/cmd/bulk_load_opentsdb@latest

二、测试工具基本使用介绍

在安装完golang和测试工具以后,就可以开始测试了

1、启动数据库

测试之前,需要把你的时序数据库启动。测试工具默认去读写的是localhost:8086,如果你的数据库不是在这个地址,请在使用工具的时候指定参数-url

2、生成数据

生成数据有两种方式,分别是生成数据到文件和边生成数据边写入数据库

生成数据到文件

以influx为例(其他数据库替换工具名即可)

$GOPATH/bin/bulk_data_gen --seed=123 --use-case=vehicle --scale-var=1 --format=influx-bulk | gzip > influx_bulk_records__usecase_vehicle__scalevar_1__seed_123.gz

use-case:这里使用的vehicle,也就是BDC-TS标准,请不要修改
scalevar:定义有多少个设备同时上报,BDC-TS案例中约定20000或者20个车辆
format: 写es、influx、opentsdb等,根据实际填入
timestamp-start:数据开始时间 格式诸如 2008-01-01T08:00:01Z
timestamp-end:数据结束时间 格式诸如 2008-01-01T08:00:01Z

如,20000个设备产生1秒的数据应该使用以下命令

$GOPATH/bin/bulk_data_gen --seed=123 --use-case=vehicle --scale-var=20000 --format=es-bulk --timestamp-start=2008-01-01T08:00:00Z --timestamp-end=2008-01-01T08:00:01Z | gzip > es_bulk_records_usecase_vehicle__scalevar_20000_seed_123.gz
边生成数据边导入数据库

以influx为例(其他数据库替换工具名即可)

$GOPATH/bin/bulk_data_gen --seed=123 --use-case=vehicle --scale-var=1 --format=influx-bulk | $GOPATH/bin/bulk_load_influx  -workers 10 
3、导入数据

以influx为例(其他数据库替换工具名即可)

cat influx_bulk_records__usecase_vehicle__scalevar_1__seed_123.gz | gunzip | $GOPATH/bin/bulk_load_influx --batch-size=5000 --workers=2
4、生成查询语句

TODO

5、执行查询

TODO

6、测试结束后清理数据

以influx为例,其他的DB的清理方法欢迎补充

curl -XPOST 'http://localhost:8086/query?q=drop%20database%20benchmark_db'
7、处理测试结果

当测试结束后,导入测试会产生如下的测试结果,统计十分困难。所以这里提供一个处理脚本进行处理 结果很多

Elastic Search version 5.6.4
loaded 20000 items in 1.073012sec with 35 workers (mean point rate 18639.126855 items/sec, mean value rate 1118347.611283/s, 19.15MB/sec from stdin)
daemon URLs: [http://100.121.150.106:9207 http://100.121.153.226:9207]

处理脚本位置:BDC-TS/practices/filter_load_data.go 处理脚本的使用

filter_load_data.go --filePath "/Users/xxxx/xxx.txt"

统计结果如下面格式:

Items: 200000
Time token: 10.638713 sec
Workers: 35
Items rate: 19103.367969 items/sec
Values rate: 1146202.081250 values/sec
Data rate: 19.631000 MB/sec

三、时序数据库基准测试(BDC-TS)

我们工程的核心,是实现BDC-TS的测试。BDC-TS测试方案详见(CTSDB最佳实践):https://github.com/caict-benchmark/BDC-TS/blob/master/practices/CTSDB_Tencent/README.md
大家可以参考这个最佳实践进行测试

实时数据集

参考国标GB/T 32960.3-2016 电动汽车远程服务与管理系统技术规范 第3部分:通讯协议及数据格式,模拟实时生成的新能源汽车的运行数据 60个指标*20,000辆车=1,200,000个测点 数据生成间隔:1s(每个测点每隔1s产生一条数据,时间戳精确到毫秒,每秒共有120万个数据点生成,持续写入1小时,数据量约为73.8GB)

历史数据集

数据集1:测点少 数据生成到文件,数据总量约620.5GB 测点数:60个指标*20辆车=1,200个测点,数据跨度为1年

数据集2:测点多 数据生成到文件,数据总量约738GB 测点数:60个指标*20,000辆车=1,200,000个测,数据跨度为10小时

四、自定义数据库

如果你的数据库不是基于InfluxDB、Elasticsearch 、Cassandra 、MongoDB、OpenTSDB中的任何一种,或者数据格式与这些数据库不一致,请自行添加数据库类型。或者联系gdchaochao进行协助

方法是:仿照bulk_load、bulk_query_gen、cmd文件夹下的代码,重写一个数据库模型

五、java工具使用

java_tools目录下是使用java编写的部分工具,独立放在一个目录是为了和go编写的工具区分开来,java_tools目录下的工程目前只有一个数据生成工具,可以生成电网测试数据,格式是csv,使用方法见https://github.com/caict-benchmark/BDC-TS/blob/master/java_tools/data_gen/README.MD

Directories

Path Synopsis
bulk_data_gen
iot
cmd
bulk_data_gen
bulk_data_gen generates time series data from pre-specified use cases.
bulk_data_gen generates time series data from pre-specified use cases.
bulk_load_alitsdb
The caller is responsible for assuring that the database is empty before bulk load.
The caller is responsible for assuring that the database is empty before bulk load.
bulk_load_bcetsdb
bulk_load_bcetsdb loads an BceTSDB daemon with data from stdin.
bulk_load_bcetsdb loads an BceTSDB daemon with data from stdin.
bulk_load_bcetsdb_bulk
bulk_load_bcetsdb loads an BceTSDB daemon with data from stdin.
bulk_load_bcetsdb loads an BceTSDB daemon with data from stdin.
bulk_load_cassandra
bulk_load_cassandra loads a Cassandra daemon with data from stdin.
bulk_load_cassandra loads a Cassandra daemon with data from stdin.
bulk_load_es
bulk_load_es loads an ElasticSearch daemon with data from stdin.
bulk_load_es loads an ElasticSearch daemon with data from stdin.
bulk_load_graphite
bulk_load_graphite loads Graphite/Carbon with data from stdin or file.
bulk_load_graphite loads Graphite/Carbon with data from stdin or file.
bulk_load_influx
bulk_load_influx loads an InfluxDB daemon with data from stdin.
bulk_load_influx loads an InfluxDB daemon with data from stdin.
bulk_load_mongo
bulk_load_mongo loads a Mongo daemon with data from stdin.
bulk_load_mongo loads a Mongo daemon with data from stdin.
bulk_load_opentsdb
bulk_load_opentsdb loads an OpenTSDB daemon with data from stdin.
bulk_load_opentsdb loads an OpenTSDB daemon with data from stdin.
bulk_load_timescale
bulk_load_timescale loads a PostgreSQL with TimeScaleDB with data from stdin.
bulk_load_timescale loads a PostgreSQL with TimeScaleDB with data from stdin.
bulk_query_gen
bulk_query_gen generates queries for various use cases.
bulk_query_gen generates queries for various use cases.
query_benchmarker_cassandra
query_benchmarker_cassandra speed tests Cassandra servers using request data from stdin.
query_benchmarker_cassandra speed tests Cassandra servers using request data from stdin.
query_benchmarker_es
query_benchmarker speed tests ElasticSearch using requests from stdin.
query_benchmarker speed tests ElasticSearch using requests from stdin.
query_benchmarker_graphite
query_benchmarker speed tests Graphite using requests from stdin.
query_benchmarker speed tests Graphite using requests from stdin.
query_benchmarker_influxdb
query_benchmarker speed tests InfluxDB using requests from stdin.
query_benchmarker speed tests InfluxDB using requests from stdin.
query_benchmarker_mongo
query_benchmarker_mongo speed tests Mongo using requests from stdin.
query_benchmarker_mongo speed tests Mongo using requests from stdin.
query_benchmarker_opentsdb
query_benchmarker_opentsdb speed tests OpenTSDB using requests from stdin.
query_benchmarker_opentsdb speed tests OpenTSDB using requests from stdin.
query_benchmarker_timescale
query_benchmarker_timescale speed tests TimescaleDB using requests from stdin.
query_benchmarker_timescale speed tests TimescaleDB using requests from stdin.
Package timescale_serialization is a generated protocol buffer package.
Package timescale_serialization is a generated protocol buffer package.
util

Jump to

Keyboard shortcuts

? : This menu
/ : Search site
f or F : Jump to
y or Y : Canonical URL