前言

今天为大家带来是关于spark的实战项目。本次项目小编整理成了视频和文档的形势以及罗列了每一个重要的笔记和学习路线方便大家学习和参考！

1.数据表

2.数据来源

3.数据模拟

4.项目业务

• 卡扣监控
• 车流量top5的卡扣
• top5卡扣下所有车辆详细信息
• 获取车辆高速通过的TOPN卡扣
• 车辆高速这5个卡扣每个卡扣下车辆速度top10
• 碰撞分析
• 车辆轨迹
• 随机抽取车辆
• 计算卡扣流量转换率

数据表

monitor_flow_action 车流量监控表
monitor_camera_info 卡扣摄像头基本关系表

数据来源

1.如果任务在本地执行，数据是每次运行模拟

2.如果任务在集群中运行，数据来源是Hive表

数据模拟

本地模拟

数据导入到Hive中

项目业务

1.卡扣监控

正常的卡扣数 7

异常的卡扣数 2

正常的摄像头个数 1000

异常的摄像头个数 5

异常的摄像头详细信息

0001:33333,44444~00005:12814,87463,99123

monitor_flow_action:

(0006,11111_22222,33333,44444,55555)

monitor_camera_info:

(0006,11111_22222,33333,44444,55555)

提交任务命令：

./spark-submit --master spark://node1:7077,node2:7077 --jars /root/test/mysql-connector-java-5.1.47.jar,/root/test/fastjson-1.2.11.jar --driver-class-path /root/test/mysql-connector-java-5.1.47.jar:/root/test/fastjson-1.2.11.jar  --class com.bjsxt.spark.skynet.MonitorFlowAnalyze /root/test/TrafficProject-1.0-SNAPSHOT.jar 1
	
	./spark-submit  --master spark://node1:7077,node2:7077 --class com.bjsxt.spark.skynet.MonitorFlowAnalyze /root/test/TrafficProject-1.0-SNAPSHOT-jar-with-dependencies.jar 1

2.车流量top5的卡扣

3.top5卡扣下所有车辆详细信息

4.获取车辆高速通过的TOPN卡扣

二次排序问题

A B

speed >=120 高速 1 1

90<=speed<120 中速 2 10

60<=speed<90 正常 3 2

speed<60 低速 10 20

5.车辆高速这5个卡扣每个卡扣下车辆速度top10

分组取topN问题

• 1.原生集合排序
• 2.定义定长数组

6.碰撞分析

01,02中这一天同时出现的车辆

01：（car,row） 02:(car,row)

(car,row).join(car,row)

01:car 02:car

car02.intersection(car02)

7.车辆轨迹

统计卡扣0001下所有车辆的轨迹 -- take(20)

8.随机抽取车辆

在一天中抽取1000辆车分析当前道路的运行情况。这些车辆要分布均匀

一天中通过了车辆10000车。要随机抽取1000量车来代表当前道路的运行情况。怎么抽？

sample(0.1) = 1000

00-01:100 -- 100/10000 * 1000 = 10

01-02:200 -- 20

02-03:50 -- 5

03-04:100 -- 10

04-05:100

06-07:100

07-08:2000 --200

08-09:2000 --200

...

...

按照小时段抽取车辆。

9.计算卡扣流量转换率

一辆车的轨迹：

0001->0002->0001->0003->0001->0002

卡扣0001到卡扣0002的车流量转化率：2/3

0001,0002,0003,0004,0005：

0001,0002：

经过卡扣0001又经过卡扣0002的车辆数/经过卡扣0001的车辆数

0001,0002,0003：

经过卡扣0001,0002又经过卡扣0003的车辆数/经过卡扣0001,0002的车辆数

0001,0002,0003,0004：

经过卡扣0001,0002,0003又经过卡扣0004的车辆数/经过卡扣0001,0002,0003的车辆数

0001,0002,0003,0004,0005：

经过卡扣0001,0002,0003,0004又经过卡扣0005的车辆数/经过卡扣0001,0002,0003,0004的车辆数

10.SparkSQL

计算每个区域中车流量top3道路

海淀区 建材城西路 10000 0001=3000|0002=4000|0003=3000

海淀区 建材城东路 8000 0004=3000|0005=5000

海淀区 安宁庄东路 7000

朝阳区 朝阳路01 9000

朝阳区 朝阳路02 8000

朝阳区 朝阳路03 7000

tmp_car_flow_basic:
		area_id		area_name		road_id		monitor_id  	car 

	select  
		area_name,road_id,car_count,monitor_infos
	from 
		(select 
			area_name,road_id, car_count,monitor_infos,row_number() over (partition by area_name order by car_count desc) as rn 
		from 
			(select  
				area_name,road_id,count(car) as car_count,UDAF(monitor_id) as monitor_infos
			from 
				tmp_car_flow_basic 
			group by 
				area_name,road_id) tmp_area_road_flow_count)  tmp
	where rn<=3

学习路线

• 01-代码调优
• 02-Spark数据本地化调节+内存调节+shuffle调优
• 03-Spark 堆外内存调节+解决数据倾斜01
• 04-解决数据倾斜02
• 05-解决数据倾斜03
• 06-项目-卡扣流量转换率
• 07-项目-卡扣流量转换率代码
• 08-项目-区域道路车流量top3

实战笔记

• Spark-day1
• Spark-day2
• Spark-day3
• Spark-day4
• Spark-day5
• Spark-day6
• Spark-day7
• Spark-day8
• Spark-day9
• Spark-day10

最后

小编把一些重点知识点整理成视频和文档，想要获取的小伙伴可以私信【学习】获取哦~~~