4月 042019
 

4月2号万众期待的Zabbix4.2终于发布了!新版本提供了很多特性,接下来几期主要介绍Zabbix4.2的一些新特性的使用。本次主要介绍TimescaleDB。

TimescaleDB介绍

TimescaleDB是基于PostgreSQL的时序数据库插件,完全继承了PostgreSQL的功能,对于复杂查询,各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型,…..)的支持非常丰富,非常适合工业化的时序数据库场景需求。具有以下特点:

  1. 基于时序优化
  2. 自动分片(按时间、空间自动分片(chunk))
  3. 全SQL接口
  4. 支持垂直于横向扩展
  5. 支持时间维度、空间维度自动分区。空间维度指属性字段(例如传感器ID,用户ID等)
  6. 支持多个SERVER,多个CHUNK的并行查询。分区在TimescaleDB中被称为chunk。
  7. 自动调整CHUNK的大小
  8. 内部写优化(批量提交、内存索引、事务支持、数据倒灌)。
    内存索引,因为chunk size比较适中,所以索引基本上都不会被交换出去,写性能比较好。
    数据倒灌,因为有些传感器的数据可能写入延迟,导致需要写以前的chunk,timescaleDB允许这样的事情发生(可配置)。
  9. 复杂查询优化(根据查询条件自动选择chunk,最近值获取优化(最小化的扫描,类似递归收敛),limit子句pushdown到不同的server,chunks,并行的聚合操作)
  10. 利用已有的PostgreSQL特性(支持GIS,JOIN等),方便的管理(流复制、PITR)
  11. 支持自动的按时间保留策略(自动删除过旧数据)
    看介绍是很适合监控数据的存储。之前对于监控数据的存储,建议进行分区表操作,进行管理。Zabbix4.2支持TimescaleDB应该说是一个好消息,至于具体性能提升,还有待测试

TimescaleDB安装

TimescaleDB基于PostgreSQL,因此我们需要先安装PostgreSQL,由于之前很少用,因此这里简单描述以下安装过程
基本环境:

操作系统Centos7.6.1810 x86_64
PostgreSQL版本11.2
安装方式yum

由于为测试环境,避免麻烦关闭防火墙,禁用seLinux,并启动chrony时间同步服务。
添加PostgreSQL的yum源

<code>yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-centos11-11-2.noarch.rpm</code>

添加TimescaleDB的yum源

<code>cat > /etc/yum.repos.d/timescale_timescaledb.repo &lt;&lt;EOL
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/\$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
EOL</code>

安装包

<code>yum update -y
yum install -y timescaledb-postgresql-11</code>

初始化数据库

<code>postgresql-11-setup initdb</code>

启动PostgreSQL

<code>systemctl start postgresql-11
systemctl enable postgresql-11</code>

启动之后,使用以下命令初始化postgresql配置文件

<code>timescaledb-tune</code>

初学者建议一切按照推荐数值,全部按Y同意即可完成配置。由于我的Zabbix Server和PostgreSQL为不同机器,因此需要开启PostgreSQL远程连接(默认关闭)
修改PostgreSQL默认配置文件/var/lib/pgsql/11/data/postgresql.conf
修改listen地址为所有地址(即*),默认监听127.0.0.1

<code>listen_addresses = '*' </code>

修改客户端认证配置文件:/var/lib/pgsql/11/data/pg_hba.conf 添加如下

<code>host    all   all    0.0.0.0/0    md5</code>

配置好之后,重启PostgreSQL使配置生效

<code>systemctl restart postgresql-11</code>

至此TimescaleDB配置安装完成

Zabbix使用TimescaleDB

目前只有Zabbix Server支持TimescaleDB,Zabbix Proxy不支持TimescaleDB。
配置成功TimescaleDB之后,建立Zabbix相关用户,并导入Zabbix数据库

<code>sudo -u postgres psql
create user zabbix with password 'zabbixpwd123';
create database zabbix owner zabbix;
grant all privileges on database zabbix to zabbix;</code>

以上命令建立名为zabbix的用户,密码为zabbixpwd123,并建立了zabbix数据库,并授权于所有权限给zabbix用户。
下载zabbix4.2源码,并解压,进入postgresql目录

<code>tar zxvf zabbix-4.2.0.tar.gz
cd zabbix-4.2.0/database/postgresql/</code>

以此按照顺序,导入数据库

<code>echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql zabbix
cat schema.sql | sudo -u zabbix psql zabbix
cat images.sql | sudo -u zabbix psql zabbix
cat data.sql | sudo -u zabbix psql zabbix
cat timescaledb.sql | sudo -u zabbix psql zabbix</code>

与平常不同,这里开启了TimescaleDB插件支持,并使用timescaledb.sql为历史和趋势数据创建了hypertable表.hypertable表是timescaledb抽象的 一张表,让用户操作 hypertable 就像 操作 postgres的普通表一样,在内部,timescaledb自动将hypertable 分割成块, timescaledb 会自动操作和管理 hypertable 的分区表,对于用户来说是透明的.create_hypertable有两个参数,第一个参数是表名,第二个参数 是分区列,一般为 TIMESTAMPTZ类型.这里看到为历史数据的clock列。

<code>SELECT create_hypertable('history', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_log', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_text', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_str', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
UPDATE config SET db_extension='timescaledb',hk_history_global=1,hk_trends_global=1;</code>

完成之后,在Zabbix Server里配置相关数据库连接参数即可,与支持postgresql的配置一致。

基本测试

使用TimescaleDB之后,使用我之前一篇blog基于kubernetes平台的Zabbix压力测试 的方法增加到5k Nvps并关联Template App Zabbix Server Stress 1k active模版,观察机器情况

Zabbix Server

TimescaleDB

总结

本次主要介绍了Zabbix使用TimescaleDB,安装配置比较简单,至于性能是否有大的提升,还需要后续进行测试和验证。