admin管理员组

文章数量:1602101

记录一次pyspark数据插入到hive表里 

net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for json.decoder.JSONDecodeError)

大概意思就是，我约定了表的数据类型。但是插入的数据有不符合的该数据类型的数据。

spark-numpy-问题-expected zero arguments for construction of ClassDict (for numpy.dtype) - 知乎

搜了一下解决方案，基本都是说把返回值包成指定类型。但我包了之后问题依然存在。

bug调试：

注释了本次新增逻辑，然后跑纯取纯插的代码，发现没问题。

但是通过url调用ocr结果，一加这个逻辑就err了。

最终定位到 get_ocr_res()方法，少加了一个try-catch，加上try-catch之后就ok了。
！！ try-catch是很重要的！请求接口的时候没返回==200的判断，造成有error。

但把方法封装进pyspark里，报错又定位不到。大坑。。。查了3H

本文标签： expectedpysparkargumentsClassDictconstruction

版权声明：本文标题：【pyspark】expected zero arguments for construction of ClassDict 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728397068a1157133.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。