ClickHouse如何实现实时日志分析
off999 2025-01-21 20:36 34 浏览 0 评论
ClickHouse通过与kafka的简单配合即可实现实时数据的分析应用。
Kafka 是目前广泛应用的消息中间件,常用做系统的数据缓存,能够实时接收应用端产生实时数据,作为数据总线,收集上游系统产生的数据,为下游数据消费系统提供数据订阅服务,生成报表或数据应用等。
Clickhouse支持与 Kafka 集成,具有Kafka Engine,能够快速构建数据通道,从Kafka中获取数据并写入本地存储。clickhouse与kafka集成的具体实现可分为三部分内容:建立Kafka Engine 外表,与kafka建立连接;创建MergeTree普通表,用于存储Kafka数据;创建Materialized View。通过上述步骤,就可以实现Kafka数据导入ClickHouse集群。
Clickhouse应用实践
为了进一步探索Clickhouse的应用,我们以互联网用户行为分析系统为例进行了验证,在不需要任何第三方工具的情况下,以Clickhouse搭建平台,实现日志的结构化查询。解决了日志分析所遇到的由于文件过于复杂而且查询不便等问题。
(一)需求描述
HTTP SERVER都能记录下访问日志,比如nginx、tomcat等web服务,但是记录基本都是以文件的方式存储,在通常情况下,这些日志不经转换难以有效地进行分析。为此,我们计划将日志文件数据解析之后存入clickhouse,利用clikhouse的高性能计算能力进行分析。由于日志文件是每访问一次就记录一条数据,并不存在唯一标识,所以还需要解决日志的增量入库的同时,避免不重复记录数据和不遗漏数据。
(二)应用描述
我们使用syslog将nginx的日志以JSON的方式发给kafka,以clickhouse的kafka引擎消费kafka的消息,实现了nginx日志实时入库,而且可以结构化查询日志的目的。同时规避了clickhouse不支持高并发写入少量数据的问题。
系统流程入下图所示:
Nginx、rsyslog、kafka、clickhouse、ABI等组件的安装过程可以参考各自的官方手册,本文不做另行说明,本系统的关键配置过程如下:
1.nginx的配置:
(1)日志格式,配置为json格式,参考代码如下:
(2)将日志发送给rsyslog的配置如下:
2.Rsyslog的配置:
rsyslog配置要点是配置kafka的地址、topic等信息:
3.Clickhouse表操作:
(1)创建一张kafka引擎的表,代码如下:
(2)创建格式化数据存储表,代码参考:
(3)创建物化视图,参考代码如下:
通过上面配置,查询nginx153表,可以看到实时的结构化的访问日志。
4.ABI分析报表设置
(1)添加查询类数据集,其SQL如下:
(2)添加分析文档,绑定前面的数据集,即可实现一个按时间选择的实时PV、UV统计报表。
(三)应用成效
解决了日志文件分析的困难的问题,使得分析人员可以使用结构化数据进行分析,对全量的日志进行实时运算也能在秒级响应,大大提高了工作效率;解决了日志增量入库问题。
本方案部署简单,nginx原生支持rsyslog,rsyslog原生支持写入kafka,clickhouse又可以支持从kafka里消费数据。所以仅需要简单的配置就可以实现nginx日志的格式化。
得益于clickhouse强大的统计计算能力,ABI分析平台可直接利用原始数据表进行统计,也能实现实时的访问结果秒级响应。
结构化之后,也为运维人员提供的极大的便利,比如要从nginx日志中找出某天访问量最高的IP,以前用日志文件的方式,实现难度是不可想象的,而现在一条简单的SQL秒级就可以得到结果。
五、总结
基于上述分析,我们认为基于Clickhouse实现日志实时分析,并构建敏捷数据分析平台,是一种行之有效的方案。其原因有以下几点:
首先,高效是clickhouse的一大优势之一。下图是官方测试数据,可看出其查询性能远远高于其他平台。(详细信息可查询clickhouse官方网站https://clickhouse.yandex/benchmark.html)
其次,clickhouse具有易用的特点。ClickHouse支持基于SQL的声明式查询语言,该语言大部分情况下是与SQL标准兼容的。支持的查询包括 GROUP BY,ORDER BY,IN,JOIN以及非相关子查询。可以直接通过mysql、jdbc、kafka等相关函数访问外部数据。
再次,clickhouse具有易维护的特点。Clickhouse部署非常简单(在linux平台只需安装三个安装包即可),通过覆盖安装即可实现升级。且系统很稳定性较高,维护工作较少。
同时,clickhouse具有易集成的特点。Clickhouse提供了JDBC、ODBC、PHP、PYTHON等驱动程序,其接口基于HTTP协议,非常容易实现自定义连接。
最后,自主可控是其最大的优势之一。而clickhouse是完全开源的,我们可以完全掌握,能够自主可控并根据自己的需要进行修改。
- 上一篇:Nginx 的日志
- 下一篇:实时监控Nginx日志文件:ngxtop详解
相关推荐
- 安全教育登录入口平台(安全教育登录入口平台官网)
-
122交通安全教育怎么登录:122交通网的注册方法是首先登录网址http://www.122.cn/,接着打开网页后,点击右上角的“个人登录”;其次进入邮箱注册,然后进入到注册页面,输入相关信息即可完...
- 大鱼吃小鱼经典版(大鱼吃小鱼经典版(经典版)官方版)
-
大鱼吃小鱼小鱼吃虾是于谦跟郭麒麟的《我的棒儿呢?》郭德纲说于思洋郭麒麟作诗的相声,最后郭麒麟做了一首,师傅躺在师母身上大鱼吃小鱼小鱼吃虾虾吃水水落石出师傅压师娘师娘压床床压地地动山摇。...
-
- 哪个软件可以免费pdf转ppt(免费的pdf转ppt软件哪个好)
-
要想将ppt免费转换为pdf的话,我们建议大家可以下一个那个wps,如果你是会员的话,可以注册为会员,这样的话,在wps里面的话,就可以免费将ppt呢转换为pdfpdf之后呢,我们就可以直接使用,不需要去直接不需要去另外保存,为什么格式转...
-
2026-02-04 09:03 off999
- 电信宽带测速官网入口(电信宽带测速官网入口app)
-
这个网站看看http://www.swok.cn/pcindex.jsp1.登录中国电信网上营业厅,宽带光纤,贴心服务,宽带测速2.下载第三方软件,如360等。进行在线测速进行宽带测速时,尽...
- 植物大战僵尸95版手机下载(植物大战僵尸95 版下载)
-
1可以在应用商店或者游戏平台上下载植物大战僵尸95版手机游戏。2下载教程:打开应用商店或者游戏平台,搜索“植物大战僵尸95版”,找到游戏后点击下载按钮,等待下载完成即可安装并开始游戏。3注意:确...
- 免费下载ppt成品的网站(ppt成品免费下载的网站有哪些)
-
1、Chuangkit(chuangkit.com)直达地址:chuangkit.com2、Woodo幻灯片(woodo.cn)直达链接:woodo.cn3、OfficePlus(officeplu...
- 2025世界杯赛程表(2025世界杯在哪个国家)
-
2022年卡塔尔世界杯赛程公布,全部比赛在卡塔尔境内8座球场举行,2022年,决赛阶段球队全部确定。揭幕战于当地时间11月20日19时进行,由东道主卡塔尔对阵厄瓜多尔,决赛于当地时间12月18日...
- 下载搜狐视频电视剧(搜狐电视剧下载安装)
-
搜狐视频APP下载好的视频想要导出到手机相册里方法如下1、打开手机搜狐视频软件,进入搜狐视频后我们点击右上角的“查找”,找到自已喜欢的视频。2、在“浏览器页面搜索”窗口中,输入要下载的视频的名称,然后...
- 永久免费听歌网站(丫丫音乐网)
-
可以到《我爱音乐网》《好听音乐网》《一听音乐网》《YYMP3音乐网》还可以到《九天音乐网》永久免费听歌软件有酷狗音乐和天猫精灵,以前要跳舞经常要下载舞曲,我从QQ上找不到舞曲下载就从酷狗音乐上找,大多...
- 音乐格式转换mp3软件(音乐格式转换器免费版)
-
有两种方法:方法一在手机上操作:1、进入手机中的文件管理。2、在其中选择“音乐”,将显示出手机中的全部音乐。3、点击“全选”,选中所有音乐文件。4、点击屏幕右下方的省略号图标,在弹出菜单中选择“...
- 电子书txt下载(免费的最全的小说阅读器)
-
1.Z-library里面收录了近千万本电子书籍,需求量大。2.苦瓜书盘没有广告,不需要账号注册,使用起来非常简单,直接搜索预览下载即可。3.鸠摩搜书整体风格简洁清晰,书籍资源丰富。4.亚马逊图书书籍...
- 最好免费观看高清电影(播放免费的最好看的电影)
-
在目前的网上选择中,IMDb(互联网电影数据库)被认为是最全的电影网站之一。这个网站提供了各种类型的电影和电视节目的海量信息,包括剧情介绍、演员表、评价、评论等。其还提供了有关电影制作背后的详细信息,...
- 孤单枪手2简体中文版(孤单枪手2简体中文版官方下载)
-
要将《孤胆枪手2》游戏的征兵秘籍切换为中文,您可以按照以下步骤进行操作:首先,打开游戏设置选项,通常可以在游戏主菜单或游戏内部找到。然后,寻找语言选项或界面选项,点击进入。在语言选项中,选择中文作为游...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)
