gist2

• 

  [Paper Review] Masked Autoencoders Are Scalable Vision Learners Masked Autoencoders Are Scalable Vision Learners He, Kaiming, et al. "Masked autoencoders are scalable vision learners." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. Abstract 해당 논문에서 제시한 Masked Autoencoder(이하 MAE)는 Autoencoder 방식과 Self-supervised Learning을 결합한 모델로, asymmetric encoder-decoder 모델 구조를 가진다. 기존 자연어처리 분야에서 많이 사용되던 Masked language modeling을 이.. 리뷰/논문 리뷰 2023. 1. 12.

• 

  [Paper Review] Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network (Peng et al., 2017) Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network Chao Peng, Xiangyu Zhang, Gang Yu, Guiming Luo, Jian Sun; Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 4353-4361 Abstract 네트워크 아키텍처 디자인 연구에 있어, 당시 트렌드는 큰 커널 대신 작은 필터(1x1 혹은 3x3)를 여러 개 쌓는 형태를 선호하는 모습을 보였다. 이는 이미지 처리 분야에서 같은 컴퓨팅 자원 소모 대비 성능이 좋았기 때문인데, Semantic Se.. 리뷰/논문 리뷰 2022. 8. 18.