Haribo Blog

• git한테 암바 걸렸을 때 탈출하는법

  2025-12-13

  Haribo

  실습

  AI  uv

  누구나 한번 쯤 merge, rebase, pull 하다가 git한테 백초크 잡혀서 가진거 다 뺏기고 remote 햄 커밋부터 다시 시작한적 있을것이다.
  나 또한 최근 이 개새끼한테 잡혀서 머리채 다 뜯기고 겨우 탈출할 수 있었는데, 걍 pull-merge-push 만 쳐하던 과거의 나와 풀스파링 뜨고싶은 심정이었다.

  AI 학습을 위해서 값비싼 장비가 필요하며 임대기간은 한정적이며 매우 짧다. 학습코드를 개씹완벽하게 짜서 걍 손빨기만 하면 되는 상황이 아니라면 우리는 학습을 돌리며 끊임없이 수정하고, 마이그레이션하고 서커스하고 해야한다.

  • 안그러면 나보다 연봉더 높은 GPU를 놀게 해야한다. 차라리 내가 노는게 낫지 GPU는 절대 놀게 두면 안된다…

  ---

  시간이 촉박한 상황에서 팀원들이 동일 출발지인 main부터 새로 브랜치 파서 작업하다 합쳐나갈 때, 문제는 이 때 발생한다

  • 각각의 task 는 우선순위도 다르며, 난이도도 다르며, 각자의 코딩 실력(속도)도 다르다.
    • 내작업은 쉬운데 오래걸리고 검증이 중요함, 다른애 작업은 어렵지만 빨리 끝낼수있고 등등
  • 검증이 중요한 내 작업에 main 기준으로 짜다가 다른애가 완성을 먼저 했다면…
    • 근데 문제는 디버그 한다고 소스코드 외에 존나 긴 config 파일, test case, 추가한 dummy 파일등을 수정/생성한 상황에서 그거 빼고 코드 부분만 먼저 합쳐서 push 해야한다던가 등등
  Read All

  ---

• 일좀 같이 합시다!!

  2025-12-07

  Haribo

  실습

  AI  uv  src_layout  setuptools  Hydra  pytest  Git_Flow

  대규모 데이터셋, 분산 학습, 협업? 이거 그냥 코드만 짠다고 되는 게 아니다. “내 컴퓨터에서만 돌아가는데요?” 라는 소리 했다가는 머리통이 으깨질 수 있다.
  수십 장의 GPU가 돌아가는 환경에서는 “재현성(Reproducibility)” 과 “확장성(Scalability)” 이 생명이다.
  이 두 가지를 보장하지 못하는 코드는 쓰레기다.

  • 에러뜨면 빠르게 수정하고 다시 돌리고
  • 다른사람이 수정한거 빨리 확인하거나 시켜서 다시 돌리고
  • 바꿀꺼 있으면 빨리 해서 돌리고

  명심하자 H100 상무님은 놀게 냅두면 안된다.

  1. 환경 설정 및 의존성 관리 (기초 중의 기초)
  2. 프로젝트 구조와 패키징 (협업의 뼈대)
  3. 설정 관리 (Hydra & OmegaConf)
  4. 코드 품질과 테스트 (협업의 안전장치)
  5. Git 협업 프로토콜 (Social Coding)
  6. 분산 학습과 인프라 (The Heavy Lifting)

  나도 쓰면서 공부하는거라 좆밥용 ~ 호날두용까지 두루두루 살펴보며 해볼 생각이다.

  ---

  Read All

  ---

• Hydra (솔직히 처음봐도 이름력 개지림)

  2025-12-06

  Haribo

  실습

  AI  hydra
  • 서론: 왜 이 고생을 해서 Hydra를 쓰는가?

  서론: 왜 이 고생을 해서 Hydra를 쓰는가?

  이름력 만큼 성능도 좋을까?

  Argparse (노가다):

  • 인자가 필요하다? parser.add_argument(‘–lr’) 추가.
  • 모델을 ResNet에서 ViT로 바꾸고 싶다? parser.add_argument(‘–patch_size’) 또 추가해야함.
  • 결과: train.py 상단 200줄이 인자 정의하는 코드로 도배됨.

  기타 방법 (toml, json)

  • 얘네들은 그나마 나은게 py파일 하나를 통으로 인자 설정하는데 안써도됨.
  • 그러나 정적인 로딩만 가능
    • 수동으로 str 다 입력해줘야 하거나, 내부 로직으로 str or 숫자 아니면 파일 찾아서 파싱하는거 만들어야함.

  Hydra (설계):

  • 코드 안건들. “설정 파일(yaml)”만 조립.
  • 핵심 원리: 코드는 “나는 cfg라는 객체 하나만 받겠소. 그 안에 뭐가 들어있는지는 난 몰르” 선언하고 빠짐.
    • cfg : OmegaConf가 만든 DictConfig라는 특수 부대원
  • 동적 로딩 가능
    • yaml 안에 yaml 집어넣기 가능. 알아서 파싱해줌
  • 결과: 파이썬 코드가 순수해짐. 로직(Logic)과 설정(Config)이 완벽하게 분리.
  Read All

  ---

• UV는 왜 '대통령'에 당선 되었나

  2025-12-06

  Haribo

  실습

  AI  uv

  uv가 파이썬 생태계의 대통령이 된 이유는 딱 두 가지이다. “압도적인 속도” 와 “통합(Unification)”

  (1) Rust로 짠 괴물 같은 속도

  • 기존 (pip, poetry): Python으로 만들어짐. 개느림. 의존성 그래프 계산하다가 퇴근 시간 다 간다.
    • 의존성: transformer 는 2.0 필요하고 근데 그와중에 numpy는 1.2 이하 필요하고, 그와중에 accelerate는 33 이상필요하고 ~~
  • UV: Rust로 만들어짐. pip보다 10~100배 빠름. 캐싱 전략이 미쳐서, 한 번 받은 패키지는 파일 복사도 안 하고 하드링크(Hardlink)로 꽂아버림. 디스크 용량도 아끼고 설치는 0.1초 컷.

  (2) The Unified Toolchain (하나로 다 된다)

  • pyenv, conda (파이썬 버전 관리) -> uv python
  • venv, virtualenv (가상환경 생성) -> uv venv
  • pip (패키지 설치) -> uv pip
  • poetry, pip-tools (의존성 잠금/관리) -> uv add, uv lock

  conda 만 써온사람으로써 일단 존나 무거움, 게다가 pycharm local<->remote<->container or cluster 개발 할 때 uv 못쓰고, .venv로 우회해야함.

  ---

  Read All

  ---

• 고수들의 repo 안에 src는 뭐하는놈일까

  2025-12-06

  Haribo

  실습

  AI  패키지  협업
  • 0. 서론: 제발 sys.path.append 좀 그만 써라

  0. 서론: 제발 sys.path.append 좀 그만 써라

  import sys
  sys.path.append("../src")  # 제발 나가 뒤져라
  from my_model import UNet
  

  이건 “내 컴퓨터, 내 폴더 구조에서만 돌아가는 쓰레기 코드” 임. 남의 컴퓨터 가면 경로 달라서 바로 터져버린다.
  내 목표는 만든 코드를 팀원이 어느 폴더에 있든 상관없이 이렇게 쓰게 만드는 거임.

  # 깔끔 그 자체
  from captain_diffusion import UNet
  

  Read All

  ---

• DPO 리뷰

  2025-11-30

  Haribo

  실습

  AI  DPO  논문리뷰
  • 요건 잠시 보류

  요건 잠시 보류

  Read All

  ---

• DPO와 아이들 (GRPO)

  2025-11-28

  Haribo

  실습

  AI  DPO  학습  training

  

  subject-driven 모델 개발하던 중 보게 된 선행연구 NEGATIVE-GUIDED SUBJECT FIDELITY OPTIMIZATION FOR ZERO-SHOT SUBJECT-DRIVEN GENERATION.
  DPO 라는걸 임커밋 오픈채팅방에서 누가 쏼라쏼라하던거 말로만 듣고 먼지도 모르는 상태에서 실험 결과를보고 안써볼 수 가 없었다. 어차피 학습 파이프라인 0-100 혼자 만들어둔 상태였기에 DPO 학습을 위한 dataloader, loss func 부분 추가하는건 그렇게 어려워 보이지 않아 바로 테스트해본 결과가 위의 이미지다(본인 와꾸임).

  Read All

  ---

• 개빡치는 정밀도 줄이기 & LoRA

  2025-11-22

  Haribo

  실습

  AI  Mixed-Precision  학습  training

  검은 영역 생성하는 모델 학습에서 train 환경 bfloat16 에서는 문제없던게 테스트환경 fp8로 생성하니 테두리 부분이 개박살나는 현상. 이건 아직도 해결방법 못찾음ㅅㅂ (거의 한달넘게 실험바꿔가며 헉습/실험 했는데 해결 못함ㅋ).

  • 근데 원인은 몰라도 우회할 방법을 고안해 냈는데 이직을 하게되어 가설이 맞는지는 당분간 확인을 할 수 없게 되었음…

  이게 아무래도 높은 precision에서 낮은 precision으로 내려가면서 발생하는 문제가 확실해 보이는데, 근데 하필이면 딱 경계면에 저렇게 폭격이 가해지는 원인이 뭘까?
  이걸 파악하기 위해서는 precision 낮추는 과정을 좀 low-level 에서 파악할 필요성이 느껴진다.

  ---

  Read All

  ---

• Optimizer 반파시키기

  2025-11-20

  Haribo

  실습

  AI  Optimizer  학습  training

  아래의 그래프들은 LoRA 학습할 때 내가 겪은 다양한 Prodigy Optimizer의 lr 스케줄링 변화 그래프다.

  

  Read All

  ---

• 여러 Norm들 + Modulation 연산

  2025-11-16

  Haribo

  실습

  AI  Norm  학습  training
  • Norm

  Norm

  FLUX, QWEN-IMAGE 모듈 중 norm을 알아보자.

  • (내가아는 오픈소스중 2황이기 때문에…)

  API	FLUX	QWEN-IMAGE
  VAE	Group Norm	RMSNorm
  LDM	LayerNorm, RMSNorm	RMSNorm, AdaLayerNorm(?)

  RMSNorm 이놈이 챔피언인거같은데, 파보기 전에 틀딱 Norm들 먼저 리마인드 하고 가야겠음.

  Read All

  ---