Baichuan2：Open large

Open large"/>

Baichuan2：Open large

1.introduction

baichuan2基于2.6万亿个token进行训练。

2.pre-training

2.1 pre-training data

数据处理：关注数据频率和质量。数据频率依赖于聚类和去重，构建了一个支持LSH型特征和稠密embedding特征的大规模去重和聚类系统，单个文档、段落和句子被去重评分，这些评分然后用于预训练中的数据采样。

2.3 Tokenizer

分词器需要平衡两个关键因素：高压缩率以实现高效的推理，并适当大小的词汇表以确保每个词embedding的充分训练。词表从baichuan1中的64000扩展到125696，使用SentencePiece字节对编码。

2.4 Positional embeddings

Baichuan2-7B采用RoPE，Baichuan2-13B采用ALiBi。

2.5 Activations and Normalizations

SwiGLU，attention使用的是xformers，pre-RmsNorm

2.6 Optimizations

AdamW；BFloat16；NormHead：对输出embedding进行归一化；Max-z损失；

2.7 Scaling laws

在训练具有数十亿参数的大型语言模型之前，首先训练一些小模型，并为训练更大的模型拟合一个缩放定律。

2.8 infrastructure

1024块A800 GPU

3.alignment

baichuan2-7B-chat，baichuan2-13B-chat，对齐包括sft和rlhf。

3.1 sft

收集了超过10w个样本。

3.2 reward model

为所有的提示设计了一个三层分类系统，包括6个一级分类、30个二级分类和200多个三级分类。给定一个prompt，通过不同大小和阶段的baichuan2生成回复，已增加回复多样性。

4.safety