大数据Spark实战项目大数据实战之精准广告推送实战完全实战化学习大数据开发

技术简介

1.传统的广告投放方式无法实现广告跟踪和效果评估，也给广告主带来了不必要的资金浪费；互联网技术的兴起，让传统的广告的投放方式从线下搬到了线上，大数据技术兴起，让不原本无法实现的广告跟踪和效果评估变成了现实；

2.精准广告推送数据分析平台是目前互联网广告投放的核心；

3.精准广告推送数据分析平台旨在利用大数据技术分析用户数据特征，根据用户特征进行精心的广告推送服务，如AnglelaBaby喜欢的口红，那么就给她推送口红的广告；

4.精准广告推送数据分析项目主要是Spark Transformations、Action、Broadcast、Spark Streaming、MLLib的技术点的综合案例实战，通过该项目实战让你的面试、就业不在是黄粱一梦。

课程大纲

项目

模块

具体内容

涉及技术

大数据Spark实战项目：

精准广告推送系统

DMP平台

广告行业现状

广告行业现状分析

传统广告和互联网广告投放优劣PK

广告行业知识介绍

互联网广告的程序化采买概念

DSP业务需求详解

SSP详解

AD Exchange详解

RTB实时竞价详解

DSP平台详解

DMP平台详解

项目背景

项目背景介绍

DMP平台建设的必要性分析

项目业务流程梳理

DMP业务流程详解

项目技术架构分析

DMP技术架构设计分析

日志采集

日志采集方案设计分析

日志格式

日志格式详解

项目数据采集

Flume自定义插件详解

Flume自定义插件开发流程详解及实际场景应用；

source、channel、sink的使用详解及实战经验；

Flume HDFS sink深入剖析及实战经验；

数据存储目录结构设计；

Flume组件使用详解

Flume采集日志到HDFS

日志存储目录设计

数据存储技术选型

parquet选型

Paruqet存储原理详解

Parquet优势分析

Parquet存储优点详解

Parquet实战

日志文件转Parquet文件实战

离线业务

日志数据量分布统计

Spark SQL实战

广告投放效果地域分析

Spark Transformations各算子在各业务模型中的实战应用；

Spark Action的实战应用最佳实践经验；

Spark SQL在项目数据分析业务场景中的各类复杂应用，如

如参与竞价数、竞价成功数、竞价成功率、ECPC、ECPM等。

广告投放效果渠道分析

广告投放效果终端分析

广告投放效果媒体分析

实时业务

广告日志到Kafka

使用Spark Streaming结合Kafka对业务指标进行实时统计分析，并将计算的结果数据存储到Redis中

Kafka分区调优应用；

Kafka整合Spark Streaming的数据可靠性优化实战；

Kafka整合Spark Streaming的吞吐量协调优化实战；

Spark Streaming在复杂业务模型下的逻辑开发实战；

Spark Streaming线上环境各类复杂异常处理经验；

Spark Streaming线上环境各类监控、JVM优化经验

媒体数据实时分析

渠道数据实时分析

用户画像

标签体系建设

定制一套标签体系

用户上下文标签

使用Spark Transformations、Action、Broadcast及外部爬虫抓到的网络数据进行处理分析将数据标签化

统一用户识别

使用Spark GraphX算法，对数据进行分析处理，识别出同一用户跨多个设备的问题

基于地理位置的广告投放

使用GEOHASH算法结合HBASE解决用户的地理位置识别问题

用户数据标签聚合

使用Spark Transformations、Action将上下文标签数据和统一用户数据进行合并

HBase存储用户标签

将合并的用户标签数据存储到Hbase中，并根据日志动态扩列

用户标签数据衰减

将Hbase中的标签数据按照日期自动衰减，形成当天最新的标签

数据可视化

ElasticSearch

使用Echarts、ELK将Hbase中的数据做可视化的web平台；

Echarts实际应用实战技能；

ELK实际应用实战技能；

Echarts

标签可视化平台建设

===============课程目录===============

1.大数据实战之精准广告推送实战---广告形式介绍.avi

2.大数据实战之精准广告推送实战---几个思考.avi

3.大数据实战之精准广告推送实战---互联网广告概念及表现形式.avi

4.大数据实战之精准广告推送实战---广告名词概念.avi

5.大数据实战之精准广告推送实战---DSP原理.avi

6.大数据实战之精准广告推送实战---DSP流程.avi

7.大数据实战之精准广告推送实战---DMP项目背景.avi

8.大数据实战之精准广告推送实战---DMP数据处理技术架构.avi

9.大数据实战之精准广告推送实战---DMP业务流程.avi

10.大数据实战之精准广告推送实战---指标说明.avi

11.大数据实战之精准广告推送实战---日志字段属性说明.avi

12.大数据实战之精准广告推送实战---项目Maven工程构建.avi

13.大数据实战之精准广告推送实战---将日志转换成Parquet格式.avi

14.大数据实战之精准广告推送实战---Parquet文件分区操作.avi

15.大数据实战之精准广告推送实战---Spark SQL操作Parquet--地域数据量分布统计.avi

16.大数据实战之精准广告推送实战---Spark Core算子操作原始日志--地域数据量分布统计.avi

大数据Spark实战项目大数据实战之精准广告推送实战完全实战化学习大数据开发

最新更新

热门下载

大数据Spark实战项目 大数据实战之精准广告推送实战 完全实战化学习大数据开发

最新更新

热门下载

大数据Spark实战项目大数据实战之精准广告推送实战完全实战化学习大数据开发