군에 있을 때 24년 7월 쯤에 읽었던 논문입니다. 열심히 pdf 로 필기해놓았는데 안 올리기에는 아까워서 기록용으로 올려놓습니다. 2022년 6월에 나온 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awar...
이 글은 “Understanding Deep Learning” (UDL book) 이라는 책의 설명 방식과 순서를 따랐으며 이 책을 참고하고 정리하여 작성되었다. 본 post 에서 설명하는 일부 개념이 Diffusion 에서도 쓰이는 개념임을 알린다.
최근에 한 프로젝트를 진행하다가 object detection 이 필요하게 되었다. object detection 을 하는 AI model 을 찾아보고 있었는데 YOLO 가 벌써 v10 까지 나온 것을 보게 되었다. YOLO 에 관해 간단히 공부해본 적은 있으나 논문을 읽어본 적은...
이전에 살펴봤던 Diffusion 은 likelihood-based model 이며 이미지 생성 과정을 denoising autoencoder 를 순차적으로 적용하는 것으로 설계한 것이었다. 그런데 Diffusion model 은 image pixel 을 그대로 model에서 처리...
원래 U-Net 은 CNN 계열의 image segmentation 에서 많이 사용되던 architecture 였다. 최근에 Diffusion 을 공부하다보니 U-Net 을 backbone network 로 하여 training 하는 것을 볼 수 있었는데 복습 겸 다시 정리하고자 ...