AI Stat Lab

Paper : https://openaccess.thecvf.com/content/CVPR2022/papers/Tang_Self-Supervised_Pre-Training_of_Swin_Transformers_for_3D_Medical_Image_Analysis_CVPR_2022_paper.pdf 2022 CVPR, IEEE published 2021년에 ViT 의 모델 중 하나인 Swin Transformers와 SSL 을 연관지어 발전시킨 논문들이 정말 많았으며, 본 논문도 그 중 하나임 Background : UNETR UNETR은 3D UNET의 Encoder 경로를 Transformer 구조로 대체한 모델 Transformer는 특성 상 Input과 Output Shape이 같으므로, Skip ..

[Introduction] Molecular Representation Learning (분자 표현학습)을 위해 'GNN' (Graph Neural Network)이 많이 쓰인다. GNN 이란, 분자의 원자(노드)와 결합(엣지)을 그래프로 취급하고, 각 원자가 이웃하는 다른 원자들에게 메시지를 전파하는 방식이다. GNN이 아직 풀지 못한 점이 있다. 1. 원자의 topology(위상정보)만 해독할 수 있다. 2. 분자의 geometry info(기하정보)를 반영하지 않는다. → 대표적인 예시 : 결합각(bond-angle) 분자의 특성을 결성하는 데 있어 분자의 기하 정보는 매우 중요한 역할을 한다. 아래의 사진을 보자. 두 분자는 같은 원자들(CI, C, H)로 구성되어 있지만, 결합각도가 왼쪽은 12..