跳至主要內容
日志数据处理中心简介

项目背景

目前入职于某通信公司,每日产生大量的日志数据(每日数据量亿级),由于工作事务,没有进行进一步利用,导致大量珍贵的日志数据白白浪费.
现决心构建一个日志数据处理中心,将日志数据进行清洗、聚合、存储、分析、可视化,从而提高日志数据的价值,提高公司业务效率,为公司决策提供数据支撑.

项目目标

  1. 支撑工作中常用的热数据即时查询,冷数据任务查询.
  2. 完成数据的基本分析,辅助控制投诉处理.
  3. 进一步完成数据的挖掘,分析,预测,预测分析,为客户线路质量优化提供解决方案.
  4. 完成数据定期汇总,绘制统计报表,完成数据可视化大屏展示.
bjtang大约 2 分钟大数据项目logstashelasticsearchjavakibanahadoophivemysql日志数据处理中心
java实现es操作

安装elasticsearch

参考 部署-linux-centOs-大数据基础配置

前期准备

gradle项目

#你需要在项目依赖中引入以下依赖项
dependencies {
    implementation 'co.elastic.clients:elasticsearch-java:8.0.1'
    implementation 'jakarta.json:jakarta.json-api:2.0.1'
    implementation 'com.alibaba:fastjson:1.2.83' 
}
bjtang大约 4 分钟大数据开发示例集合javaelasticsearch
落地显平台使用

功能介绍

通过配置对接网关和X号群组,达到落地显的理想效果

bjtang小于 1 分钟开发javavue项目
shell 批量启动脚本

需求

在进行服务器部署测试的时候经常需要重启大量项目,需要一个能自动识别项目目录启动jar的shell脚本,并统一管理日志输出

#在此项目文件夹中,我只想执行二层目录的启动.jar,而不是递归所有jar,并且项目并不固定

项目文件夹
--项目A
----lib
------依赖.jar
----配置文件
----启动.jar
--项目B
----lib
------依赖.jar
----配置文件
----启动.jar
bjtang大约 5 分钟运维linuxshelljava
shell java打包jar脚本

需求

在进行服务器部署测试的时候经常需要更改少量项目代码,在内网环境下需要自动打包脚本更方便进行修改调试

普通java项目打包

两种方式

eclipse 直接export为jar即可,注意添加main函数 注意,带conf配置文件的项目需要把conf文件放到src同级目录下才能正确识别,具体参考mikoFile项目

java命令行 先进行项目编译

./javac -d ~/eclipse-workspace/mikoFile/ ~/eclipse-workspace/mikoFile/src/com/bjtang/mikoFile/MikoFileApplication.java
bjtang大约 6 分钟运维linuxshelljava
miko数据检查后出现系统崩溃

原始报错代码如下

https://pan.bjtang.com/miko/mikoFile/dataNode/    
{
  "data": "com.bjtang.miko.dao.DiskMapper.updateById (batch index #1) failed. Cause: java.sql.BatchUpdateException: Lock wait timeout exceeded; try restarting transaction\n; Lock wait timeout exceeded; try restarting transaction; nested exception is java.sql.BatchUpdateException: Lock wait timeout exceeded; try restarting transaction",
  "msg": "未知错误",
  "status": 500
}
bjtang小于 1 分钟BUGjavamiko