现有某地区出租车 GPS 定位数据 taxi.csv,部分数据见下图

编程入门 行业动态 更新时间:2024-10-26 02:24:30

现有某地区出租车 GPS 定位<a href=https://www.elefans.com/category/jswz/34/1771445.html style=数据 taxi.csv,部分数据见下图"/>

现有某地区出租车 GPS 定位数据 taxi.csv,部分数据见下图

数据一共分为 4 列,每一列含义如下表所示

根据上述条件,参考 SparkRDD、wordcount、SparkDataFrame、SparkSQL 实验,编写代码实
现如下要求:

1、查询编号为 5 的出租车的 GPS 数据的前 10 行数据
2、统计共有多少辆不同的出租车(id为唯一标识)
3、分别统计每辆出租车的 GPS 点记录有多少条,这里只查看前10行数据

4、选出记录数量最多的3辆车

一、RDD实现

一、RDD实现
1.导入数据
rdd1=sc.textFile("/home/ubuntu/taxi.csv")
2.分割数据
rdd2=rdd1.map(lambda x:x.split(","))
3.查询某一列数据编号为几的前十行数据,调用filter()函数
rdd2.filter(lambda x:x[0]=='5').take(10)#1
4.统计某一列数据共有多少不同的数据,distinct()为去重函数,count()为计数数据
rdd2.map(lambda x:x[0]).distinct().count()#2   384
5.统计某一列数据的某个数据a的记录共有多少条࿰

更多推荐

现有某地区出租车 GPS 定位数据 taxi.csv,部分数据见下图

本文发布于:2024-02-13 03:57:27,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1690582.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:数据   下图   出租车   GPS   taxi

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!