TODO

TODO

前期准备

首先你需要完成数据采集和es基本使用
参考
大数据-示例集合-elasticsearch 大数据-示例集合-java实现es操作 大数据-项目-日志数据处理中心
大数据-项目-日志数据处理中心-es数据采集

前期准备

首先你需要安装Logstash和es,并掌握基本使用方法
参考
部署-linux-centOs-大数据基础配置
大数据-示例集合-logstash
大数据-示例集合-elasticsearch 大数据-项目-日志数据处理中心

安装Logstash

Logstash版本和elasticsearch版本一定要对应上,否则报错会摸不着头脑
参考https://www.elastic.co/cn/support/matrix#matrix_compatibility
参考 部署-linux-centOs-大数据基础配置

项目背景

目前入职于某通信公司,每日产生大量的日志数据(每日数据量亿级),由于工作事务,没有进行进一步利用,导致大量珍贵的日志数据白白浪费.
现决心构建一个日志数据处理中心,将日志数据进行清洗、聚合、存储、分析、可视化,从而提高日志数据的价值,提高公司业务效率,为公司决策提供数据支撑.

项目目标

1. 支撑工作中常用的热数据即时查询,冷数据任务查询.
2. 完成数据的基本分析,辅助控制投诉处理.
3. 进一步完成数据的挖掘,分析,预测,预测分析,为客户线路质量优化提供解决方案.
4. 完成数据定期汇总,绘制统计报表,完成数据可视化大屏展示.

安装elasticsearch

参考 部署-linux-centOs-大数据基础配置
为什么要用es查询?因为又快又好
为什么快?抱歉,这不是本篇的重点,请自行百度
首先,需要对es有一个初步的概念,方便后续进行学习:mysql和es的比较

安装hadoop

参考 部署-linux-centOs-大数据基础配置

安装hive

参考 部署-linux-centOs-大数据基础配置