网站建设属于技术服务吗,工程中标公示查询怎么查,wordpress免费批量采集软件,怎么改变wordpress最大上传文件一、背景
在物联网、车联网等时序数据场景中#xff0c;数据的高速写入能力至关重要#xff0c;会对产品方案的可用性、可靠性和扩展性产生影响。
以物联网为例#xff0c;当面临千万甚至上亿设备、平均每个设备采集几十个到几百个指标时#xff0c;每秒生成的数据将达到…一、背景
在物联网、车联网等时序数据场景中数据的高速写入能力至关重要会对产品方案的可用性、可靠性和扩展性产生影响。
以物联网为例当面临千万甚至上亿设备、平均每个设备采集几十个到几百个指标时每秒生成的数据将达到数十亿至数百亿。能否及时可靠的插入这种量级的数据是评价一个时序数据库的核心要素和第一需求。
因此对于时序数据库的性能进行测试也就尤为重要TSBS 作为一款对时序数据库批量加载性能和查询执行性能的开源测试工具得到了越来越多的应用。
二、TSBS 介绍
Time Series Benchmark Suite (TSBS) 是一个使用 go 语言编写的用于生成时序数据集的基准测试工具可以对各种时序数据库的读写性能进行基准测试。TSBS 具有可扩展性 可以对各种时序数据场景例如 devopsIoT 等进行批量写入性能和查询执行性能基准测试。
目前 TSBS 支持 IOT 及 Devops 两种场景:
IoT 场景模拟物联网环境中的数据负载这个用例模拟来自一个虚构的卡车公司的一组卡车的数据流包括来自每辆卡车的诊断数据和指标并引入了相关的环境因素例如 out-of-order 数据和批量摄取对于离线一段时间的卡车。它还跟踪卡车元数据并使用它将度量和诊断作为查询集的一部分联系在一起。Devops 场景“开发操作”用例有两种形式。完整形式用于生成、插入和测量 9 个“系统”中的数据这些数据可以在真实的devops场景(e.g.、CPU、内存、磁盘等中进行监控。这 9 个系统一起在每个读取间隔生成 100 个度量。另一种形式只关注CPU指标以实现更简单、更精简的用例。这个用例每次读取生成 10 个 CPU 指标。除了度量读数之外还为数据集中的每个主机生成“标记”包括主机的位置、操作系统等。
目前支持的数据库 Akumulie Cassandrae ClickHousee CrateDBe InfluxDB MongoDB SiriDBe TimescaleDB VictoriaMetricse
未支持 TSBS 的时序数据库可自行适配数据库类型后开展性能测试工作。
三、TSBS 测试工具
1. TSBS 测试工具安装
1使用 go get 对 TSBC 及其相关应用进行下载
$ go get github.com/timescale/tsbs2切换到 cmd 下使用 go install 进行部分应用的安装
#Install desired binaries. At a minimum this includes tsbs_generate_data,3切换到 cmd 下使用 go install 进行剩下的安装
#Optionally, install all binaries:2. TSBS 测试工具使用
TSBS 基准测试分为 3 个阶段数据生成和查询语生成、数据写入/插入测试、查询测试。下面 TSBS 测试工具三个阶段的使用以 IOT 场景和 timescaledb 数据库为例进行介绍。
1数据生成
通过 TSBS 生成基准测试的数据将其作为基准测试阶段的输入。需要的变量如下 –use-case使用场景包括iot、devops、cpu-only例如iot –seed用于确定性生成的 PRNG 种子。例如123 –scale要生成的卡车/设备数量。例如50000 –timestamp-start数据中时间戳的开始时间。例如2016-01-01T00:00:00Z –timestamp-end数据中时间戳的结束时间。例如2016-01-01T00:10:00Z –log-interval每个设备的每次读取之间应该间隔多长时间以秒为单位。例如10s –format需要生成的数据库例如: timescaledb。
可自行设置变量在自定义目录下生成数据文件示例如使用上述变量生成数据集在自定义目录/tmp/下生成 tsdb-data 数据文件。
上面示例会生成一个伪 -CSV 文件用于将数据批量加载到 TimescaleDB 中。每个数据库都有自己的格式用于存储数据使其数据库对应的加载器最容易写入数据。
2查询生成
需要的变量如下 与数据生成中的用例、卡车数量、开始时间相同 –timestamp-end数据生成后一秒的结束时间例如对于 2016-01-01T00:10:00Z 使用 2016-01-01T00:10:01Z –queries生成的SQL语句的查询数例如1000 –query-type要生成的SQL语句查询类型例如 specific-sub-table
例如下列为生成 timescaledb 单类型一组查询的例子可以通过改变查询类型 --query-type 一项来生成其他查询语句类型查询类型的完整列表见末尾附录内容
$ tsbs_generate_queries --use-caseiot --seed123 --scale50000 \3数据插入/写入测试
TSBS 通过获取上一步中生成的数据并将其用作特定于数据库的命令行程序的输入来测量插入/写入性能。tsbs_load 可执行文件可以在任何受支持的数据库中加载数据。可使用预生成的数据文件作为输入。每个加载程序确实共享一些公共标志——例如batch-size 批处理大小一起插入的读取数、worker并发插入的客户端的数量、连接详细信息主机和端口等。要查找特定数据库的标志请使用 -help 标志(例如tsbs_load_timescaledb -help。
例如
#use insert会在 TimescaleDB 中创建一个名为 benchmark 的新数据库存储数据。在加载完整数据集时除最后两行之外的所有行都包含 CSV 格式的数据标题中包含列名。这些列名对应于时间戳、期间每秒的指标、插入总指标、每秒总体指标、期间每秒行数、总行数、每秒总行数。最后两行为插入指标数目和适用的行时间和平均写入速率。可以通过更改 --workers 的值以控制同时运行的并行 load 的级别通过更改 --partitions 的值改变分区数。
4查询测试
要测量 TSBS 中的查询执行性能您首先需要使用上一节加载数据并生成如前所述的查询。加载数据并生成查询后只需为正在测试的数据库使用相应的 tsbs_run_queries_ 二进制文件通过更改数据库以及数据库对应自定义目录下生成的查询语句类型来实现各类型的查询性能测试。缺少的条件也可以根据 -help 进行查询。
例如
对于 timescaledb 数据库查询“specific-sub-table”
$ cat /tmp/timescaledb-queries- specific-sub-table.gz | \可以通过更改 --workers 的值以控制同时运行的并行查询的级别。
四、实践
1. 测试环境 2. 导入性能测试
测试使用 TSBS 测试工具生成 IoT 场景下卡车运输公司的卡车数据集约 9.9G测试TimescaleDB 在 workes2 下 partitions 分别为 1、50、100、150 下的导入/查询性能
workes1、2、4、8 下 TimescaleDB 的导入/查询性能。
测试结果
workers2 下 TimescaleDB 测试不同 partitionspartitions50 下具有最优导入性能。具体如下图所示
在 partitions50 时测试不同 workers 下 TimescaleDB 的导入性能TimescaleD 导入性能如下所示
在 partitions50 时测试不同 workers 下 TimescaleDB 的导入性能TimescaleD 导入性能如下所示
3. 查询性能测试
测试 workers2不同 partitions(1, 50, 100, 150)下 TimescaleDB 的查询性能
不同 workers(1, 2, 4, 8)下 TimescaleDB 的查询性能。
1查询语句
query-specific-sub-table****
SELECT t.driver, r.latitude, r.longitude
FROM tags t
INNER JOIN LATERAL (SELECT latitude, longitude, name FROM readings) AS r ON r.name t.name
WHERE t.name IS NOT NULL
AND t.name GetRandomName()query-stationary-trucks-avg-velocity
SELECT t.name, t.driver, avg(r.velocity) as avg_velocity
FROM tags t
INNER JOIN readings r ON r.name t.name
WHERE time Start()
AND time End()AND t.name IS NOT NULL
AND t.fleet GetRandomFleet()
GROUP BY 1, 22测试结果
query-stationary-trucks-avg-velocity specific-sub-table
五、查询类型
1. Devops/cpu-only 2. IoT
