本文介绍了如何检查Spark中的路径存在?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我的日期时间路径如下:
I have datetime paths as follow:
/data/2020-04-01/data.csv
/data/2020-04-02/data.csv
几天以来,该文件可能不存在,如果我调用 spark.read.load()函数,它将失败.有办法避免这种情况吗?
For some days, the file may not exist and If I call spark.read.load() function it fails. Is there a way to avoid this?
推荐答案您可以按如下所示进行检查,
You can check like below,
import os.path from os import path if path.exists('/data/2020-04-01/data.csv'): spark.read.load('/data/2020-04-01/data.csv')更多推荐
如何检查Spark中的路径存在?
发布评论