如何使用gzip压缩后的parquet文件
今天我们来学习使用python读取parquet文件
背景
有一个parquet文件，而且还用gzip压缩了。
那该如何读取呢？
准备工作
安装
pandas和pyarrow
# 安装 pandas and pyarrow:
pip3 install pandas pyarrow读取
# 使用 read_parquet 加载parquet文件
import pandas as pd
from pandas import read_parquet
data = read_parquet("myFile.parquet.gzip")
print(data.count())
data.head()更多推荐
python读parquet文件 pandas读parquet文件
发布评论