微调和推理plato的一些经验

编程入门行业动态更新时间:2024-10-15 10:21:15

微调和推理plato的一些<a href=https://www.elefans.com/category/jswz/34/1770055.html style= 经验"/>

1. 数据：充分利用数据，在数据处理的工作中将一段对话（ABABAB）切分成A B ABA B ABABA B的形式。

2.将数据做成batch的形式，共有3587条数据，将数据按照token ids进行升序排序，不断维护max_len,确保max_len * batch 的数量小于batch_size 。

3.模型结构

4. 为了避免生成的token为mask或者unk_token，将对应的索引的数值设置很小。

5. 对生成话的长度进行一定限制，我们的场景是chitchat，所以我们的min_len设置的很小0，如果是做别的事情，在没有到达min_len，eos的logits会相对更低。

更多推荐

微调和推理plato的一些经验

本文发布于:2024-02-06 09:36:22，感谢您对本站的认可！

经验 plato

评论列表（有 0 条评论）