当前位置：网站首页 > 技术资源 > 正文

Spark实战项目:交通实战项目(附加学习视频)

off999 2024-12-25 14:48 84 浏览 0 评论

前言

今天为大家带来是关于spark的实战项目。本次项目小编整理成了视频和文档的形势以及罗列了每一个重要的笔记和学习路线方便大家学习和参考！

1.数据表

2.数据来源

3.数据模拟

4.项目业务

卡扣监控
车流量top5的卡扣
top5卡扣下所有车辆详细信息
获取车辆高速通过的TOPN卡扣
车辆高速这5个卡扣每个卡扣下车辆速度top10
碰撞分析
车辆轨迹
随机抽取车辆
计算卡扣流量转换率

数据表

monitor_flow_action 车流量监控表
monitor_camera_info 卡扣摄像头基本关系表

数据来源

1.如果任务在本地执行，数据是每次运行模拟

2.如果任务在集群中运行，数据来源是Hive表

数据模拟

本地模拟

数据导入到Hive中

项目业务

1.卡扣监控

正常的卡扣数 7

异常的卡扣数 2

正常的摄像头个数 1000

异常的摄像头个数 5

异常的摄像头详细信息

0001:33333,44444~00005:12814,87463,99123

monitor_flow_action:
(0006,11111_22222,33333,44444,55555)
monitor_camera_info:
(0006,11111_22222,33333,44444,55555)

提交任务命令：

./spark-submit --master spark://node1:7077,node2:7077 --jars /root/test/mysql-connector-java-5.1.47.jar,/root/test/fastjson-1.2.11.jar --driver-class-path /root/test/mysql-connector-java-5.1.47.jar:/root/test/fastjson-1.2.11.jar  --class com.bjsxt.spark.skynet.MonitorFlowAnalyze /root/test/TrafficProject-1.0-SNAPSHOT.jar 1
	
	./spark-submit  --master spark://node1:7077,node2:7077 --class com.bjsxt.spark.skynet.MonitorFlowAnalyze /root/test/TrafficProject-1.0-SNAPSHOT-jar-with-dependencies.jar 1

2.车流量top5的卡扣

3.top5卡扣下所有车辆详细信息

4.获取车辆高速通过的TOPN卡扣

二次排序问题

A B
speed >=120 高速 1 1
90<=speed<120 中速 2 10
60<=speed<90 正常 3 2
speed<60 低速 10 20

5.车辆高速这5个卡扣每个卡扣下车辆速度top10

分组取topN问题

1.原生集合排序
2.定义定长数组

6.碰撞分析

01,02中这一天同时出现的车辆
01：（car,row） 02:(car,row)
(car,row).join(car,row)

01:car 02:car
car02.intersection(car02)

7.车辆轨迹

统计卡扣0001下所有车辆的轨迹 -- take(20)

8.随机抽取车辆

在一天中抽取1000辆车分析当前道路的运行情况。这些车辆要分布均匀

一天中通过了车辆10000车。要随机抽取1000量车来代表当前道路的运行情况。怎么抽？

sample(0.1) = 1000

00-01:100 -- 100/10000 * 1000 = 10
01-02:200 -- 20
02-03:50 -- 5
03-04:100 -- 10
04-05:100
06-07:100
07-08:2000 --200
08-09:2000 --200
...
...

按照小时段抽取车辆。

9.计算卡扣流量转换率

一辆车的轨迹：

0001->0002->0001->0003->0001->0002

卡扣0001到卡扣0002的车流量转化率：2/3

0001,0002,0003,0004,0005：

0001,0002：

经过卡扣0001又经过卡扣0002的车辆数/经过卡扣0001的车辆数

0001,0002,0003：

经过卡扣0001,0002又经过卡扣0003的车辆数/经过卡扣0001,0002的车辆数

0001,0002,0003,0004：

经过卡扣0001,0002,0003又经过卡扣0004的车辆数/经过卡扣0001,0002,0003的车辆数

0001,0002,0003,0004,0005：

经过卡扣0001,0002,0003,0004又经过卡扣0005的车辆数/经过卡扣0001,0002,0003,0004的车辆数

10.SparkSQL

计算每个区域中车流量top3道路

海淀区建材城西路 10000 0001=3000|0002=4000|0003=3000

海淀区建材城东路 8000 0004=3000|0005=5000

海淀区安宁庄东路 7000

朝阳区朝阳路01 9000

朝阳区朝阳路02 8000

朝阳区朝阳路03 7000

tmp_car_flow_basic:
		area_id		area_name		road_id		monitor_id  	car 

	select  
		area_name,road_id,car_count,monitor_infos
	from 
		(select 
			area_name,road_id, car_count,monitor_infos,row_number() over (partition by area_name order by car_count desc) as rn 
		from 
			(select  
				area_name,road_id,count(car) as car_count,UDAF(monitor_id) as monitor_infos
			from 
				tmp_car_flow_basic 
			group by 
				area_name,road_id) tmp_area_road_flow_count)  tmp
	where rn<=3