admin管理员组

文章数量:1567920

如果将transformers中的tfbert等模型嵌入到自己的模型中，在保存与加载的时候可能会出现以下问题：

ValueError: The two structures don’t have the same nested structure.

First structure: type=dict str={‘input_ids’: TensorSpec(shape=(None, 5), dtype=tf.int32, name=‘input_ids/input_ids’)}

Second structure: type=dict str={‘token_type_ids’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/token_type_ids’), ‘attention_mask’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/attention_mask’), ‘input_ids’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/input_ids’)}

问题说明：
如果是直接使用bert(inputs) 调用，保存模型再加载就会出现上述问题

原因：
call() 函数没有添加@tf.function(signatures)注解，也就是没有定义输入数据格式， 如果直接保存模型恢复的时候没办法恢复输入数据的定义

解决办法：
使用model.serving()函数

可以看出源码是实现了输入数据格式定义的，这样修改之后就咩有加载方面的问题了

本文标签： 模型加载TFBertTransformersNested

版权声明：本文标题：transformers中TFBert等模型加载问题(two structures don‘t have the same nested structure) 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1725841173a1045018.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。