Appengine Java MapReduce:将所有结果保存在一个谷歌云文件中(Appengine Java MapReduce : Save all results in one google

编程入门 行业动态 更新时间:2024-10-27 04:35:54
Appengine Java MapReduce:将所有结果保存在一个谷歌云文件中(Appengine Java MapReduce : Save all results in one google cloud file)

我不想用CSV做数据库导出作业,我想使用Mapreduce作业,用DatastoreInput读取所有数据存储实体,在mapper中,juste为当前实体发出CSV字符串,并使用ValueProjectionReducer传递通过价值观。 但CloudSqlFileOutput为每个分片作业写一个文件。 如何使用mapreduce库将所有csv行导出到一个文件中?

谢谢。

I wan't to do a database export jobs in CSV, I think to use a Mapreduce Job, read all datastore entity with the DatastoreInput, in the mapper, juste emit the CSV string for the current entity, and use the ValueProjectionReducer to just pass through values. But the CloudSqlFileOutput write one file for each shards jobs. How to export all csv lines in one file with the mapreduce library ?

Thanks.

最满意答案

将reducers的数量设置为1.(在最多0.5的版本中,这是输出类别之一。)

Set the number of reducers to 1. (In versions up to 0.5 this is done one the output class.)

更多推荐

本文发布于:2023-07-04 06:31:00,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1019736.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:在一   文件   个谷歌云   MapReduce   Appengine

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!