attention2

• 

  [Research review] Attention U-Net: Learning Where to Look for the Pancreas ✅ This article is a compilation of research reviews for study purposes. It was not written for commercial purposes. If there are any issues, it will be deleted. ✅ It's written in Korean, so if you need other language, click the translate button and read it.논문 소개Attention U-Net은 “U-Net을 더 크게/깊게” 만든 것이 아니라, 어디를 봐야 하는지(Region of Interest; ROI)를 네트워크 내부에서 스스로 선택하게 만든 U-Net의 변형입니다.기존 U-Net은 skip conn.. Paper review 2025. 12. 3.

• 

  CH 04-1. Attention mechanism Attention mechanism이 전 챕터까지 RNN, GNU에 대해서 계속 학습해왔다. 이 모델들의 단점은 sentence가 길어지면 성능이 낮아지는 현상이 나타난다는 것이다. 그리고 이 현상을 너무 많은 정보가 하나의 노드로 들어가다 보니 bottle-neck현상이 일어난 것이 아닐까 보고 있다.기존에 RNN, GNU 등의 성능이 좋지 않았던 이유는 결국 Encoder의 역할이 너무 많아서 Context vector가 모든 정보를 함축하지 못한다는 것이었다(LSTM, GRU를 써도 초기 정보가 희석된다). Context computing을 따로 하자. Encoder의 모든 feature를 사용하자. → Attention mechanism이 제시가 되었다.Input과 output의 관계를 잘 고려하.. 의료 AI(딥러닝) 공부 일기 2024. 8. 1.