pytorchOCR之SAST
pytorchOCR之SAST
论文
官方代码
主要思路
本文主要思路,预测四个map,tcl,tvo,tco,tbo。其中tcl为分割图,与psenet和dbnet的kernel一样,为了分开密集临近的文本,如下图所示:
图a中红色部分即为tcl,计算方式是通过文本向内收缩形成的分割图,图b为tbo的计算方式,代表了tcl像素到边界的偏移量,上边界x,y和下边界x,y共四维。图c为tvo的计算方式,代表了tcl中的像素到文本标注框的四个角点的偏移量x,y,所以共8维,图d为tco的计算方式,代表了tcl中像素到标注框中心点的偏移量x,y,所以共2维。四个map的生成方式可参看ptocr/dataloader/DetLoad/SASTProcess_ori.py
所以loss设计如下:
loss的实现可参看ptocr/model/loss/sast_loss.py
本文还有一个创新点,提出了一个CAB模块。来起到一个在水平和竖直方向来聚合像素上下文的作用,来起到增强分割效果的作用。如下:
对照这图片,具体实现可参看/ptocr/model/head/det_SASTHead.py中的cross_attention。
文中所有图片皆来自论文
更多推荐
pytorchOCR之SAST
发布评论