Haribo Blog

알고리즘, 문제풀이, ML, AI

딥러닝 Ubuntu 서버 세팅

2023-11-06

Haribo

기타

Ubuntu

Read All
Remote 서버에 Docker 활용하여 작업하기

2023-11-06

Haribo

기타

Docker

Read All
Emu: Enhancing Image Generation Models Using Photogenic Needles in a Haystack

2023-10-18

Haribo

논문리뷰

Diffusion 생성모델 Meta
Full Citation: “Dai, Xiaoliang, et al. “Emu: Enhancing image generation models using photogenic needles in a haystack.” arXiv preprint arXiv:2309.15807 (2023).”
Link to Paper: https://arxiv.org/abs/2309.15807
Conference Details: Meta 2023
- 수작업으로 선택 된 high quality 이미지(highly aesthetically-pleasing)는 text-to-image 생성 모델에서 이미지의 미적성(aesthetics)을 향상시킬 수 있다.
- 단지 수백에서 수천 개의 high quality 이미지를 fine-tuning하면 생성된 이미지의 시각적 매력이 향상된다.
- 이러한 quality-tuning은 Latent Diffusion Model(LDM)뿐만 아니라 Pixel Diffusion 및 masked generative transformer models에도 효과가 있다.
Read All
Diff2Lip: Audio Conditioned Diffusion Models for Lip-Synchronization.

2023-09-06

Haribo

논문리뷰

Diffusion 생성모델 arXiv
Full Citation: “Mukhopadhyay, Soumik, et al. “Diff2Lip: Audio Conditioned Diffusion Models for Lip-Synchronization.” arXiv preprint arXiv:2308.09716 (2023).”
Link to Paper: https://arxiv.org/pdf/2308.09716.pdf
Conference Details: arXiv 2023
Project Page: Link
Lip synchronization task
- Audio에 맞게 사람의 입술 움직임을 합성하는 task.
- 영화 산업(더빙), 가상 아바타 등에서 다양한 응용이 가능하다.
- 도전과제
  - 디테일한 입술 움직임 구현
  - identity, pose, emotions 등 source의 특징을 보존해야함
Read All
On Distillation of Guided Diffusion Models

2023-08-07

Haribo

논문리뷰

Diffusion 생성모델 Distillation
Full Citation: “Meng, Chenlin, et al. “On distillation of guided diffusion models.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.”
Link to Paper: https://arxiv.org/pdf/2210.03142.pdf
Conference Details: CVPR 2023 (우수논문)
- 느린 샘플링이라는 기존 diffusion 모델의 한계를 효과적으로 해결한 연구는 있으나, 이는 unconditional diffusion model에 한정된다.
- High-Resolution conditional image generation 을 위해서는 Classifier-free guidance가 필요하지만, 이 방법은 많은 연산을 필요로 하며 샘플링 속도가 느리다.
- 이 논문은 Classifier-free guidance를 사용하면서도 빠른 샘플링을 가능하게 하는 새로운 학습 기법을 제안하며, 이 기법은 단 1~4 단계만으로도 기존 모델들과 비교할 수 있는 성능을 보여준다.
  - Pixel-space diffusion: ImageNet 64x64, CIFAR-10 데이터셋에서 단 4 denoising step만에 기존 모델과 비슷한 성능.
  - Latent-space diffusion: LAION 데이터셋에서 1~4 denoising step만에 기존 모델과 비슷한 성능.
  - Text-to-Image diffusion: 2~4 denoising step만에 기존 모델과 비슷한 성능
Read All
Drag Your GAN

2023-07-17

Haribo

논문리뷰

GAN 생성모델
Full Citation: “Pan, Xingang, et al. “Drag your gan: Interactive point-based manipulation on the generative image manifold.” ACM SIGGRAPH 2023 Conference Proceedings. 2023.”
Link to Paper: https://arxiv.org/abs/2305.10973
Conference Details: ACM SIGGRAPH 2023
- 새로운 GAN 모델을 만드는 것이 아닌 기존의 GAN (StyleGAN2)을 컨트롤 하는 연구.
- Src, Tgt 두 종류의 포인터로 생성 된 이미지의 pose, shape, expression 등등을 변형.
- GAN을 컨트롤 하는데에 있어 추가적인 인공지능 모델 학습이나 활용 필요없이 내부 featuremap domain에서 연산이 진행됨.
- GAN의 잠재능력을 극한으로 활용하는 느낌.
Web Demos
Read All
Make-A-Video

2023-06-23

Haribo

논문리뷰

Diffusion 생성모델 Meta Video
Full Citation: “Singer, Uriel, et al. “Make-a-video: Text-to-video generation without text-video data.” arXiv preprint arXiv:2209.14792 (2022).”
Link to Paper: https://arxiv.org/abs/2209.14792
Conference Details: ICLR 2023
Project Page: Link
- 선행 Text-to-Video 연구들은 다수의 video-text pair 데이터셋이 필요했으나, 사전학습 된 Diffusion 모델의 능력을 활용해 video-text 데이터셋 없이 video 데이터셋만을 활용해 고퀄리티 text-to-video 생성모델 학습 방식을 선보임.
- 4D 입력인 video 처리를 위해 Spatial/Temporal Convolution + Attention 연산을 활용.
Read All
Auto-encoding variational bayes

2023-04-28

Haribo

논문리뷰

VAE 생성모델
Full Citation: “Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013).”
Link to Paper: https://arxiv.org/abs/1312.6114
Conference Details: arXiv 2013 \
Read All
High-resolution image synthesis with latent diffusion models.

2023-03-31

Haribo

논문리뷰

Diffusion 생성모델
Full Citation: “Rombach, Robin, et al. “High-resolution image synthesis with latent diffusion models.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022.”
Link to Paper: https://arxiv.org/abs/2112.10752
Conference Details: CVPR 2022 \
- Inference, Training에 매우 큰 자원과 시간이 소모되던 기존의 Diffusion 모델의 한계를 극복하고 안정된 공간에서 diffusion process를 학습시키기 때문에 다양한 conditional에 대해 prior를 학습할수 있게함.
- 실험적인 해석이 매우 필요함. 직접적인 코드 해석이 필요함.
Read All
DDIM (Denoising Diffusion Implicit Models)

2023-03-20

Haribo

논문리뷰

Diffusion 생성모델
Full Citation: “Song, Jiaming, Chenlin Meng, and Stefano Ermon. “Denoising diffusion implicit models.” arXiv preprint arXiv:2010.02502 (2020).”
Link to Paper: https://arxiv.org/abs/2010.02502
Conference Details: arXiv 2020 \
Read All

3/24