跳至主要內容
日志数据处理中心简介

项目背景

目前入职于某通信公司,每日产生大量的日志数据(每日数据量亿级),由于工作事务,没有进行进一步利用,导致大量珍贵的日志数据白白浪费.
现决心构建一个日志数据处理中心,将日志数据进行清洗、聚合、存储、分析、可视化,从而提高日志数据的价值,提高公司业务效率,为公司决策提供数据支撑.

项目目标

  1. 支撑工作中常用的热数据即时查询,冷数据任务查询.
  2. 完成数据的基本分析,辅助控制投诉处理.
  3. 进一步完成数据的挖掘,分析,预测,预测分析,为客户线路质量优化提供解决方案.
  4. 完成数据定期汇总,绘制统计报表,完成数据可视化大屏展示.
bjtang大约 2 分钟大数据项目logstashelasticsearchjavakibanahadoophivemysql日志数据处理中心
elasticsearch使用

安装elasticsearch

参考 部署-linux-centOs-大数据基础配置
为什么要用es查询?因为又快又好
为什么快?抱歉,这不是本篇的重点,请自行百度
首先,需要对es有一个初步的概念,方便后续进行学习:mysql和es的比较

bjtang大约 8 分钟大数据示例集合elasticsearch
java实现es操作

安装elasticsearch

参考 部署-linux-centOs-大数据基础配置

前期准备

gradle项目

#你需要在项目依赖中引入以下依赖项
dependencies {
    implementation 'co.elastic.clients:elasticsearch-java:8.0.1'
    implementation 'jakarta.json:jakarta.json-api:2.0.1'
    implementation 'com.alibaba:fastjson:1.2.83' 
}
bjtang大约 4 分钟大数据开发示例集合javaelasticsearch
CentOs部署大数据

基础安装配置

#安装软件
yum install wget
yum install vim
yum install rsync #用于远端服务器日志同步到本地,方便进行测试
yum install sshpass  #用于远端服务器日志同步到本地,方便进行测试

#关闭防火墙
#查看防火墙状态  如果看到有绿色字样标注的“active（running）”，说明防火墙是开启状态
systemctl status firewalld.service
#开启防火墙
systemctl start firewalld.service
#关闭防火墙 重启后会自动开启
systemctl stop firewalld.service
#禁用防火墙服务
systemctl disable firewalld.service
bjtang大约 23 分钟部署大数据linuxcentOshadoophbasehiveelasticsearchlogstash