实施过程"/>
MAE 两个具体地实施过程
First we generate a token for every input patch (by linear projection with an added positional embedding).
(1)首先,通过每个输入的patch,生成token,通过添加位置编码,也就说,这一步就是一个正常的编码过程,常规的过程。
Next we randomly shuffle the list of tokens and remove the last portion of the list, based on the masking ratio.
(2)然后,我们随机的shuffle这个tokens的list,也就是说对于token的顺序进行随机,然后将最后的部分进行mask掉。
更多推荐
MAE 两个具体地实施过程
发布评论