在线更新数据，迭代学习训练，进而提高模型性能。
比较明显的是API部分，这一步学习的就是intruction,实现人机写作的复杂系统工程

数据充足，维基类似于百度百科
transformer结构更有优势，预测下一个字，模型越大，则condition的range大。

模型遗忘是当模型做一个新任务时，就会忘记旧的任务，而模型足够大，就不会发生这种作用。

大的数据+大的模型——chatgpt

**

下图中的数据，多为猜测。
数据的搜集过程，无法复制？

论文中给出了标注数据集类型，有QA等等，需要给出提示

​​​

不仅给出了答案，还给出推理chain。

无监督预训练：文本语料570g,代码：159g
有监督：12万个训练集，1653个测试集，集合的意思，不是数据集量

​​

​​

​​​

​

2、国产大模型硬件基础

不大指望企业，指望国家实验室

给标注数据和原始数据，他们把模型做出来。
给data，他们做模型

鹏程国家实验室不穷，很有钱

下边的模型花了27个亿

鹏程*神农——新冠预测的模型——4000张GPU卡。

国产大模型-神农模型

**用户需求：**蛋白的RDB区域是否病变
**研究动机：**提前预测病毒变异类型

蓝色表示结合亲力上升，月蓝色月可能发生变异

新颖的多任务损失函数，是什么？新在哪？

**
**

流感病毒能直接迁移吗？应该不行吧？流感应该不是看RBD吧？

可能的未来的方向
给一部电影，写成一本小说。
给一本小说，拍出来一步电影。

一轮300万，学生写的代码完蛋

土豪做法是数据或者任务线性排，没钱，做聚类’

模型压缩

洪永淼：
AI领域的问题：
确定性问题(当输入和输出是确定的)
确定性答案

明确的，可控的情况下做模型。
数据量和标注数据的质量有关。

优化算法中，凸优化问题，怎么更新上万个参数？
梯度更新