联系电话 400-650-7353
  • 视频有效期
  • 课程内容
  • 录播时长
  • 直播有效期
  • 面授集训
立即咨询

随到随学 7天内可申请退费

  • 视频有效期
  • 课程内容
  • 录播时长
  • 直播有效期
  • 面授集训
立即咨询

随到随学 7天内可申请退费

选择更加重要,OAO训练营

OAO(Online And Offline)即线上线下相结合的教学-学习模式

Online-线上学习
高清视频课
  • 精心研发
  • 系统讲解
  • 随到随学
  • 省时便捷
直播答疑课
  • 知识串讲
  • 小班直播
  • 答疑互动
  • 课后回放
Offline-线下集训
线下面授攻关
  • 全国多地
  • 面授集训
  • 实战冲关
  • 面试模拟
传统网课
课程老旧
技术已被迭代替换
学员放任自学
无督促,无答疑
核心知识囫囵吞枣
项目流程一知半解
技术难关似懂非懂
面试要点一带而过
OAO训练营
线上学习阶段
录播不限次回看
直播为你答疑解惑
线下集训阶段
面授集训攻关,解答阶段问题
项目实战讲解,带你梳理项目思路
课程、面试技术点攻坚指导
简历指导,面试模拟
了解更多OAO学习模式

理论+实战双向并行,科学系统教学体系

入门门槛低

0基础可以进行学习不需要学员提前具备Java知识

科学知识体系

科学设计理念,贴合实际,对接企业用人需求

4大核心项目

一线企业的真实项目案例,入学即可岗前培训

5阶段内容相扣

难度逐步进行升级渐进式学习复杂业务的解决方法

企业级核心实战项目,延伸主流行业需求

  • 高铁电务设备
    智能监控大数据平

  • DMP智能广告
    分析系统项目

  • 中国天气网
    流量分析平台

  • 智慧农场
    大数据平台

高铁电务设备智能监控大数据平台

  • 项目介绍
  • 核心技术
  • 项目架构
项目难度:

铁路信号设备是指挥列车运行、保证行车安全、提高运输效率、改善行车组织方式、实现行车指挥现代化的关键设施,在铁路运输生产过程中发挥着重要的作用。

为提高信号设备维修管理水平,进一步深化信号设备维修智能化应用,加强事前预防与预警、过程控制与监控、应急响应与处置、事后分析与评估等关键环节信息技术支撑,亟需建设铁路信号设备设施技术状态大数据应用(以下简称信号大数据应用),实现信号设备全寿命周期状态管理,建立科学的分析评价体系,全面掌握信号设备工作状态及运用情况,提高设备维修维护质量,降低铁路信号运营维护成本,提升信号设备的运输安全保障能力。提升设备使用寿命,减少设备浪费,保障铁路安全。

核心技术:

HDFS、ZMQ、Kafka、Spark、Protobuf、Hive、HBase、ConfigFactory

技术亮点:

数据接入:Protobuf、解析数据

数据清洗:parquet文件、序列化、Kafka、HDFS、样例类

离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件

实时报表统计:Kakfa、SparkStreaming、SparkCore

用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题

设备维修预测:Hive、HBase、SparkCore、SparkSQL

核心功能:

离线模块:

(1)从公司ZMQ中接入的数据,进行解析,按天存入HDFS

(2)从HDFS中拿去数据进行业务报表统计

(3)存入库

(4)前端展示

实时模块:

(1)从ZMQ中接入数据数据,进行解析,接入到Kafka

(2)流处理接Kafka数据,报表统计

(3)放入库

(4)前端展示

用户画像:

(1)从公司ZMQ中接入的数据,进行解析,按天存入HDFS

(2)用户画像分析

(3)存入库

(4)预测调用

项目架构图:
项目流程:
项目背景介绍、项目发展现状、项目可行性和必要性的研究性报告、项目框架介绍、项目集群搭建
主数据源的产生、主数据源的存储和传输、ZeroMQ消息系统核心架构与传输协议、ZeroMQ高级传输方式、Protobuf序列化方式、Kafka数据生产者
百度开发者平台访问、天气网免费天气获取、JSON数据解析、地理位置信息存储
列车出厂时间、列车生产厂家等字典信息接入、Atp检修台账、信号机检修台账等台账信息接入
离线数据预处理、数据治理
核心业务单表统计、核心业务多表关联
核心业务实时监控
用户画像统计分析、算法预测报警、项目大纲总结、项目技术点总结

DMP智能广告分析系统

  • 项目介绍
  • 核心技术
  • 项目架构
项目难度:

网络和智能终端的普及带来了海量人群的上网行为数据,大数据 技术的发展让细分人群的特性成为可能。不同的人群,网络行为习惯 差异性比较大,女性、男性互联网行为不一样;25岁大学男毕业生、 35 岁政府白富美更不一样。

服饰行业、电子类产品快速消费的互联网广告特性和房地产的广告特性的差异不言而喻。行业不同,广告投放也需要更精准的 DMP。 时间、地区、季节、节日、天气……大量的因素,大量的数据交织在一起,没有细分研究,对于大数据的分析,难以为广告主带来高价值。细分研究各类因素大数据,为广告主创造更高价值。最终节省成本,精准投放广告。

核心技术:

Nginx、Flume、HDFS、Parquet文件、序列化、Kafka、SparkCore、ConfigFactory

技术亮点:

数据接入:Nginx、Flume、HDFS

数据清洗:Parquet文件、序列化、Kafka、HDFS、样例类

离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件

用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题

核心功能:

离线模块:

(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据HDFS

(2)从HDFS中拿去数据进行业务报表统计

(3)存入库

(4)前端展示

用户画像:

(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到HDFS

(2)用户画像分析

(3)存入库

(4)预测调用

项目架构图:
项目流程:
项目背景介绍、项目发展现状、项目可行性和必要性的研究性报告、项目框架介绍、项目集群搭建
主数据源的产生、主数据源的存储和传输
SparkCore离线处理原理、Kettle工具使用、Parquet数据类型格式转换、脏数据追溯
用户数据量分析统计、地市指标统计、APP指标统计、设备指标统计
用户标签化处理、地市标签、APP标签、设备标签、关键字标签
商圈标签实现、GeoHash
商圈标签实现、GeoHash

中国天气网流量分析系统

  • 项目介绍
  • 核心技术
  • 项目架构
项目难度:

中国气象局官网流量分析,是指在获得网站访问量基本数据的情况下对有关数据进行统计、分析,从中发现用户访问网站的规律,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。当然这样的定义是站在网络营销管理的角度来考虑的,如果出于其他方面的目的,对网站流量分析会有其他相应的解释。主要有流量分析,内容分析,转化分析等等。

核心技术:

Nginx、Flume、Kafka、Redis、Spark、Hive、HBase。

技术亮点:

数据接入:Nginx、Flume、Kafka、HDFS

数据清洗:Parquet文件、序列化、Kafka、HDFS、样例类、

离线报表统计:HDFS读写、广播变量、Redis、SparkCore、ConfigFactory解析配置文件

实时报表统计:Kafka、SparkStreaming、SparkCore

用户画像:协同开发、JSON解析、图计算识别问题、百度API解决地理信息问题

设备维修预测:Hive、HBase、SparkCore、SparkSQL

核心功能:

离线模块:

(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa,使用Flume同步数据到HDFS

(2)从HDFS中拿取数据进行业务报表统计

(3)存入库

(4)前端展示

实时模块:

(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa

(2)流处理接Kafka数据,报表统计

(3)放入库

(4)前端展示

用户画像:

(1)Nginx数据负载均衡在日志服务器,使用Flume采集日志数据到Kakfa,使用Flume同步数据到HDFS

(2)用户画像分析

(3)存入库

(4)预测调用

项目架构图:
项目流程:
项目背景介绍、项目发展现状、项目可行性和必要性的研究性报告、项目框架介绍、项目集群搭建
主数据源的产生、主数据源的存储和传输
SparkCore离线处理原理、Kettle工具使用、Parquet数据类型格式转换、脏数据追溯
Hive数据仓库、离线分析处理、新增用户、活跃用户
历史用户分析、升级用户分析
实时监控全网状态、实时统计全网活跃流量分析
用户画像统计分析、算法预测报警、项目大纲总结、项目技术点总结

智慧农场大数据平台

  • 项目介绍
  • 核心技术
  • 项目架构
项目难度:

基于成熟的物联网技术解决方案,采用温度、湿度、光照等传感器采集农场收据,并将数据通过flume拦截器进行清洗后存入hive数据仓库。为保证数据的重复利用和解耦,数据仓库进分封层设计。最后采用hive sql对数据进行分析,将数据通过ssm框架进行echarts展示,实现土壤水质营养监测,农作物生长情况监测、管理,种植适宜区规划,作物产量预测、精准灌溉。同时通过sqoop采集农作物电商网站销售数据,分析农作物的销售情况、从而制定最优的销售价格。最终实现农作物质量产量和销售利润的最大化。

核心技术:

Flume、Sqoop、Kafka、Hive、Tez、Crontab、Azkaban

技术亮点:

数据采集:JSON、Log4j、Logback、解析数据

数据传输:Flume、Sqoop、Kafka

数据存储:HDFS、ZooKeeper、LZO、MySQL

数据清洗:MapReduce、YARN

数据分析:Hive、Tez

结果展示:Echarts

任务调度:Crontab、Azkaban、shell脚本

核心功能:

种植数据采集模块:

(1)农业大棚传感器产生数据,将数据上传至日志服务器。

(2)日志服务器将每天收集的数据以天命名存储至本地磁盘。

(3)Flume将每天的数据实时收集存到Kafka集群,此过程会进行日志的轻微清洗处理。

(4)Kafka按照日志的不同主题,进行存储。

(5)Flume再将数据从Kafka读取,存储进HDFS分布式存储系统。

(6)MapReduce将存储进HDFS的数据进行最后的数据清理,整理为符合开发需要的JSON格式。

种植数据业务分析模块:

(1)将数据采集模块采集的数据进行搭建数仓

(2)搭建ODS层

(3)搭建DWD层

(4)Hive用到一些自定义函数的编写

(5)搭建DWS层并完成相应种植业务需求

(6)搭建ADS层并进行Echarts展示

农产品销售分析模块:

(1)将农产品的销售数据通过Sqoop同步到HDFS数仓

(2)构建ODS层

(3)构建DWD层

(4)搭建DWS层进行销售数据分析

(5)构建ADS层

(6)Echarts数据展示

项目架构图:
项目流程:
项目背景介绍、项目发展现状、项目可行性和必要性的研究性报告、项目技术架构选型、项目集群搭建
传感器采集数据格式确定、水质、土壤、光照、气体、湿度等数据生成
项目背景介绍、项目发展现状、项目可行性和必要性的研Hadoop Zookeeper Fume Kafka安装、Hadoop读写压力测试、Kafka读写压力测试、Flume采集数据、Hadoop存储数据究性报告、项目框架介绍、项目集群搭建
数仓分层、数据仓库与数据集市
Hive 安装、Tez安装、Hive Tez整合测试
数仓ODS层搭建、数仓DWD层搭建、Hive UDF UDTF函数实现、Hive自带函数使用
传感器工作状态统计、传感器连续工作天数、土壤营养监测、大棚光照、气体监测、土壤湿度监测 精准灌溉、统计连续三天水质不合格大棚及对应日期
电商业务流程、电商常识、电商表结构、农场销售业务分析、数仓理论及表的同步备份策略
ODS层搭建电商业务流程、DWD层搭建
统计消费金额最多的月份、每月消费人群全国分布、各农作物每月的销售情况、统计各种作物每月的毛利润、复购率、火爆商品和消费人群分析
统计消费金额最多的月份 Echarts展示、每月消费人群全国分布Echarts展示、各农作物每月的销售情况Echarts展示、统计各种作物每月的毛利润Echarts展示、复购率Echarts展示、火爆商品和消费人群分析Echarts展示
查看更多项目介绍

OAO大数据零基础课程大纲

深度授课体系,企业级核心技术点

第一阶段:Java基础
  • Java基础语法
  • 面向对象编程
  • 常用类和工具类
  • 集合框架体系
  • 异常处理机制
  • 文件和IO流
  • 移动开户管理系统
  • 多线程
  • 枚举和垃圾回收
  • 反射
  • JDK新特性
  • 通讯录系统
第二阶段:JavaEE核心
  • HTML
  • CSS
  • JavaScript
  • 数据库
  • JDBC
  • 连接池
  • DBUtils
  • B/S架构
  • Servlet
  • JSP
  • Cookie
  • HttpSession
  • Filter
  • MVC
  • Maven
  • Spring
  • SpringBoot
  • Git
  • 小米商城项目
  • 在线医疗系统
第三阶段:Hadoop生态体系
  • Linux
  • Hadoop
  • Zookeeper
  • Hive
  • HBase
  • Phoenix
  • Impala
  • Kylin
  • Flume
  • Sqoop&DataX
  • Kafka
  • Oozie&Azkaban
  • Hue
第四阶段:Spark生态体系
  • Scala
  • Spark
  • Flink
第五阶段:机器学习+项目实战
  • Python基础
  • Python数据分析
  • Python机器学习算法
  • SparkaMLlib
  • 喜好预测
  • 智能推荐
  • Python核心库使用
  • 机器学习基础
  • k-近邻算法
  • 基于概率论的分类方法
  • 朴素贝叶斯
  • Logistic回归
  • 向量机
  • 高铁智能检测系统
  • DMP广告分析项目
  • 中国天气网流量分析平台
  • 智慧农场大数据平台

OAO训练营,学员专属服务体系

随到随学

我们的故事从报名开始

技术答辩

项目案例深度剖析,求职面试指导讲解

求职面试指导
全国推荐就业
求职
PART 1
高清录播
2.0新模式课程,更好的学习体验
直播答疑
答疑、指导、知识点讲解
学习规划
学习计划表,章节作业,班主任贴心守护,耐心解答
阶段考核
按阶段完成学习任务后安排考核,查验学习成果
PART 2
配套笔记源码
附赠各个阶段配套笔记源码
线下集训
项目指导,课程、面试技术点攻坚
了解更多服务

一地学习全国就业

互联网名企项目实训 10000余家合作企业定向输送人才

学员常见问题

下载APP学习更方便

视频支持离线缓存,终身有效 随时随地无限回看,畅快学习

如何开始学习?
购买后录播部分自动开通,在优学官网“xue.ujiuye.com”,或者APP“IT优学”中用手机号注册登陆,点击“我的”-“我的课程”找到对应课程即可开始学习。
退款说明
购课后,如果觉得课程不适合你,开课后 7 天内可以申请退款,由于在线课程的商品特殊性,开课 7 天后将无法退款,如有疑问,请在购买前仔细确认并咨询老师。
线上转线下学习,可抵扣面授费用
该课程购买时的实际缴纳金额可全额抵扣线下报名学费用,具体报名费用以转班时线下报名费为准,抵扣年限为2年,线下开班日期及学习地点,请向老师咨询。
版权声明
本课程相关知识产权归优就业所有,与本课程有关的所有课程视频、文字、图片、资料、源码等知识产权均归属于优就业。