OpenAI ChatGPT模型训练

打开VSCode

新建一个工作目录

使用pip install --upgrade openai

配置环境变量：

OPENAI_API_KEY=<你的open ai key>

windows配置:(需要重启)

setx OPENAI_API_KEY "你的open ai key"

准备训练数据集文件：

格式如下：

放到工作目录下比如A.jsonl

使用命令格式化数据：

 

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

如：openai tools fine_tunes.prepare_data -f A.json.nl

然后一路Y即可 生成两个文件train和valid

然后创建训练模型：

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

如：openai api fine_tunes.create -t ABC_prepared_train.jsonl -m curie

可以自定义模型名称--suffix：

openai api fine_tunes.create -t test.jsonl -m ada --suffix "custom model name"

正在训练...

等待训练完成(10-20分钟左右)训练完成如下：

消耗$0.04

模型名称:curie:ft-personal-2023-02-12-06-15-31

测试一下：

取训练数据集里的一条试试

测试结果如下：

测试通过~