大语言模型面试心路历程【0 offer版】

心路历程【0 offer版】"/>

大语言模型面试心路历程【0 offer版】

记录自己大语言模型面试的经历，旨在可以帮助更多想要从事此方面的小伙伴。

北银金科

1.InstructGPT的训练过程
2.critic网络的作用
3.LSTM的原理，GRU与LSTM有什么不同
4.讲一下Bert的结构
5.讲一下自己的论文【KBQA相关】
6.GLM的结构和微调了哪些参数
7.LoRA和P-tuning的原理分别是什么
8.还了解哪些参数微调的方法
9.GLM和baichuan之间的比较
10.检索增强式大模型的理解
11.快速排序
12.计算单词的编辑距离

好未来

1.算法题977. 有序数组的平方
2.算法题 快速排序
3.算法题 按字典中value数组中第一个值进行排序
4.Transformer中self-attention的计算公式 为什么除以dk
5.为什么用多头注意力机制
6.大模型在多头注意力机制方面有哪些改进
7.微调过什么大模型
8.self-instruct如何根据种子数据集生成数据
9.P-tuning、Prefix tuning、LoRA的原理 隐式token向量是什么 怎么产生的
10.SGD的原理 一阶导数二阶导数