在不使用 Spark 的情况下从 Scala 读取 Parquet 文件

本文介绍了在不使用 Spark 的情况下从 Scala 读取 Parquet 文件的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！ 问题描述

是否可以在不使用 Apache Spark 的情况下从 Scala 读取 parquet 文件?

Is it possible to read parquet files from Scala without using Apache Spark?

我发现了一个项目，它允许我们使用普通的 Scala 读写 avro 文件.

I found a project which allows us to read and write avro files using plain scala.

github/sksamuel/avro4s

但是我无法找到一种方法来使用普通的 Scala 程序读写 Parquet 文件而不使用 Spark?

However I can't find a way to read and write parquet files using plain scala program without using Spark?

推荐答案

是的，您不必使用 Spark 来读/写 Parquet.只需直接从您的 Scala 代码中使用 parquet lib(这就是 Spark 正在做的事情):search.maven/#search%7Cga%7C1%7Cparquet

Yes, you don't have to use Spark to read/write Parquet. Just use parquet lib directly from your Scala code (and that's what Spark is doing anyway): search.maven/#search%7Cga%7C1%7Cparquet