- 视频有效期
- 课程内容
- 录播时长
- 直播有效期
- 面授集训
随到随学 7天内可申请退费
随到随学 7天内可申请退费
随到随学 7天内可申请退费
0基础可以进行学习不需要学员提前具备Java知识
科学设计理念,贴合实际,对接企业用人需求
一线企业的真实项目案例,入学即可岗前培训
难度逐步进行升级渐进式学习复杂业务的解决方法
高铁电务设备
智能监控大数据平
DMP智能广告
分析系统项目
中国天气网
流量分析平台
智慧农场
大数据平台
铁路信号设备是指挥列车运行、保证行车安全、提高运输效率、改善行车组织方式、实现行车指挥现代化的关键设施,在铁路运输生产过程中发挥着重要的作用。
为提高信号设备维修管理水平,进一步深化信号设备维修智能化应用,加强事前预防与预警、过程控制与监控、应急响应与处置、事后分析与评估等关键环节信息技术支撑,亟需建设铁路信号设备设施技术状态大数据应用(以下简称信号大数据应用),实现信号设备全寿命周期状态管理,建立科学的分析评价体系,全面掌握信号设备工作状态及运用情况,提高设备维修维护质量,降低铁路信号运营维护成本,提升信号设备的运输安全保障能力。提升设备使用寿命,减少设备浪费,保障铁路安全。
HDFS、ZMQ、Kafka、Spark、Protobuf、Hive、HBase、ConfigFactory
数据接入:Protobuf、解析数据
数据清洗:parquet文件、序列化、Kafka、HDFS、样例类
离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件
实时报表统计:Kakfa、SparkStreaming、SparkCore
用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题
设备维修预测:Hive、HBase、SparkCore、SparkSQL
离线模块:
(1)从公司ZMQ中接入的数据,进行解析,按天存入HDFS
(2)从HDFS中拿去数据进行业务报表统计
(3)存入库
(4)前端展示
实时模块:
(1)从ZMQ中接入数据数据,进行解析,接入到Kafka
(2)流处理接Kafka数据,报表统计
(3)放入库
(4)前端展示
用户画像:
(1)从公司ZMQ中接入的数据,进行解析,按天存入HDFS
(2)用户画像分析
(3)存入库
(4)预测调用
网络和智能终端的普及带来了海量人群的上网行为数据,大数据 技术的发展让细分人群的特性成为可能。不同的人群,网络行为习惯 差异性比较大,女性、男性互联网行为不一样;25岁大学男毕业生、 35 岁政府白富美更不一样。
服饰行业、电子类产品快速消费的互联网广告特性和房地产的广告特性的差异不言而喻。行业不同,广告投放也需要更精准的 DMP。 时间、地区、季节、节日、天气……大量的因素,大量的数据交织在一起,没有细分研究,对于大数据的分析,难以为广告主带来高价值。细分研究各类因素大数据,为广告主创造更高价值。最终节省成本,精准投放广告。
Nginx、Flume、HDFS、Parquet文件、序列化、Kafka、SparkCore、ConfigFactory
数据接入:Nginx、Flume、HDFS
数据清洗:Parquet文件、序列化、Kafka、HDFS、样例类
离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件
用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题
离线模块:
(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据HDFS
(2)从HDFS中拿去数据进行业务报表统计
(3)存入库
(4)前端展示
用户画像:
(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到HDFS
(2)用户画像分析
(3)存入库
(4)预测调用
中国气象局官网流量分析,是指在获得网站访问量基本数据的情况下对有关数据进行统计、分析,从中发现用户访问网站的规律,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。当然这样的定义是站在网络营销管理的角度来考虑的,如果出于其他方面的目的,对网站流量分析会有其他相应的解释。主要有流量分析,内容分析,转化分析等等。
Nginx、Flume、Kafka、Redis、Spark、Hive、HBase。
数据接入:Nginx、Flume、Kafka、HDFS
数据清洗:Parquet文件、序列化、Kafka、HDFS、样例类、
离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件
实时报表统计:Kafka、SparkStreaming、SparkCore
用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题
设备维修预测:Hive、HBase、SparkCore、SparkSQL
离线模块:
(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa,使用Flume同步数据到HDFS
(2)从HDFS中拿取数据进行业务报表统计
(3)存入库
(4)前端展示
实时模块:
(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa
(2)流处理接Kafka数据,报表统计
(3)放入库
(4)前端展示
用户画像:
(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa,使用Flume同步数据到HDFS
(2)用户画像分析
(3)存入库
(4)预测调用
基于成熟的物联网技术解决方案,采用温度、湿度、光照等传感器采集农场收据,并将数据通过flume拦截器进行清洗后存入hive数据仓库。为保证数据的重复利用和解耦,数据仓库进分封层设计。最后采用hive sql对数据进行分析,将数据通过ssm框架进行echarts展示,实现土壤水质营养监测,农作物生长情况监测、管理,种植适宜区规划,作物产量预测、精准灌溉。同时通过sqoop采集农作物电商网站销售数据,分析农作物的销售情况、从而制定最优的销售价格。最终实现农作物质量产量和销售利润的最大化。
Flume、Sqoop、Kafka、Hive、Tez、Crontab、Azkaban
数据采集:JSON、Log4j、Logback、解析数据
数据传输:Flume、Sqoop、Kafka
数据存储:HDFS、ZooKeeper、LZO、MySQL
数据清洗:MapReduce、YARN
数据分析:Hive、Tez
结果展示:Echarts
任务调度:Crontab、Azkaban、shell脚本
种植数据采集模块:
(1)农业大棚传感器产生数据,将数据上传至日志服务器。
(2)日志服务器将每天收集的数据以天命名存储至本地磁盘。
(3)Flume将每天的数据实时收集存到Kafka集群,此过程会进行日志的轻微清洗处理。
(4)Kafka按照日志的不同主题,进行存储。
(5)Flume再将数据从Kafka读取,存储进HDFS分布式存储系统。
(6)MapReduce将存储进HDFS的数据进行最后的数据清理,整理为符合开发需要的JSON格式。
种植数据业务分析模块:
(1)将数据采集模块采集的数据进行搭建数仓
(2)搭建ODS层
(3)搭建DWD层
(4)Hive用到一些自定义函数的编写
(5)搭建DWS层并完成相应种植业务需求
(6)搭建ADS层并进行Echarts展示
农产品销售分析模块:
(1)将农产品的销售数据通过Sqoop同步到HDFS数仓
(2)构建ODS层
(3)构建DWD层
(4)搭建DWS层进行销售数据分析
(5)构建ADS层
(6)Echarts数据展示
我们的故事从报名开始
项目案例深度剖析,求职面试指导讲解
视频支持离线缓存,终身有效 随时随地无限回看,畅快学习