如何检查Spark中的路径存在?

本文介绍了如何检查Spark中的路径存在?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

我的日期时间路径如下:

I have datetime paths as follow:

/data/2020-04-01/data.csv

/data/2020-04-02/data.csv

几天以来，该文件可能不存在，如果我调用 spark.read.load()函数，它将失败.有办法避免这种情况吗?

For some days, the file may not exist and If I call spark.read.load() function it fails. Is there a way to avoid this?

推荐答案

您可以按如下所示进行检查，

You can check like below,

import os.path from os import path if path.exists('/data/2020-04-01/data.csv'): spark.read.load('/data/2020-04-01/data.csv')