2-2. 모델 계보: 이름의 홍수에서 길 찾기
모델 이름은 몇 달마다 바뀐다. 이름을 외우는 것은 의미가 없다. 모델을 구분하는 축 여섯 개를 알면, 처음 보는 모델도 어디에 속하는지 바로 알 수 있다.
모델을 구분하는 여섯 축
| 축 | 물어볼 것 | 배운 곳 |
|---|---|---|
| 디노이저 구조 | U-Net인가 DiT인가. 파라미터가 몇 개인가 | 1-8 |
| 학습 방식 | 확산(ε, v 예측)인가 플로우 매칭인가 | 1-2, 1-4 |
| 텍스트 인코더 | CLIP인가 T5인가 LLM 계열인가 | 1-5 |
| 학습 데이터와 설명 | 무엇을 보고 배웠나. 태그인가 문장인가 | 1-5 |
| 증류 여부 | 스텝 증류, 가이던스 증류를 했나 | 1-6, 1-7 |
| 라이선스 | 상업적으로 쓸 수 있나 | 이번 수업 |
새 모델을 받으면 이 여섯 가지를 먼저 확인한다. 설정값(스텝, CFG, 샘플러, 프롬프트 쓰는 법)이 여기서 전부 정해진다.
큰 줄기
U-Net 시대 (2022~2023)
| 모델 | 연도 | 디노이저 | 텍스트 인코더 | 해상도 |
|---|---|---|---|---|
| SD 1.5 | 2022 | U-Net 8.6억 | CLIP 1개 | 512 |
| SDXL | 2023 | U-Net 26억 | CLIP 2개 | 1024 |
SD 1.5는 가중치가 공개된 첫 실용 모델이다. 누구나 받아서 고칠 수 있었기 때문에 파생 모델, LoRA, ControlNet 같은 생태계가 여기서 생겼다. SDXL이 그것을 이어받았다.
그 사이의 SD 2.x는 실패했다. 학습 데이터에서 성인 이미지를 걸러낸 탓에 사람 몸을 제대로 못 그렸고, 텍스트 인코더를 바꿔서 기존 프롬프트와 파생 모델이 통하지 않았다. 사용자는 1.5에 남았다. "학습 데이터에 없으면 못 그린다"를 보여 준 사례다.
DiT 시대 (2024~)
| 모델 | 시기 | 디노이저 | 텍스트 인코더 | 비고 |
|---|---|---|---|---|
| SD3 | 2024 | MMDiT 20억~80억 | CLIP 2개 + T5 | 플로우 매칭을 본격적으로 쓴 첫 공개 모델 |
| Flux.1 | 2024 | MMDiT 120억 | CLIP + T5 | dev(가이던스 증류), schnell(4스텝 증류) |
| Qwen-Image | 2025 | MMDiT 200억 | LLM 계열 | 글자 넣기에 강하다 |
| Flux.2 | 2025 말 | DiT | LLM 계열 | 편집과 여러 장 참조를 한 모델로 |
| Qwen-Image-2.1 | 2026-09 | DiT 70억 | LLM 계열(시각 언어 모델) | 생성과 편집 통합, 투명 배경 출력 |
| FLUX 3 Image Klein | 2026-10 | DiT 56억 | LLM 계열(시각 언어 모델) | 생성, 편집, 여러 장 참조 |
2026년의 두 모델은 출시 기사를 바탕으로 적었다. 정확한 수치는 각 모델의 공식 설명서에서 확인하자.
흐름이 보인다.
- 텍스트 인코더가 커진다. CLIP → T5 → 시각 언어 모델. 프롬프트 이해가 좋아진다.
- 디노이저는 오히려 작아진다. 200억 → 70억, 120억 → 56억. 구조와 학습이 좋아져서 작은 모델이 예전의 큰 모델을 넘는다.
- 생성과 편집이 합쳐진다. 그림을 만드는 모델과 고치는 모델이 하나가 된다. 3단계에서 다룬다.
애니 계열의 줄기
캐릭터 그림에서는 다른 줄기가 중요하다. SDXL을 애니 그림으로 대규모 파인튜닝한 모델들이다.
| 모델 | 기반 | 학습 데이터 | 특징 |
|---|---|---|---|
| Pony Diffusion V6 XL | SDXL | 애니, 만화, 카툰 그림 수백만 장 | 품질을 점수 태그로 지정한다 |
| Illustrious XL | SDXL | 그림 게시판의 태그 달린 그림 | 캐릭터와 화풍 지식이 넓다. 가장 큰 생태계 |
| NoobAI-XL | Illustrious | 더 넓은 범위의 그림 게시판 | 지식 범위가 더 넓다. v 예측 판이 있다 |
이 모델들의 공통점은 셋이다.
- 태그로 학습했다. 프롬프트를 태그 나열로 써야 한다. 다음 수업에서 다룬다.
- 캐릭터와 작가 이름을 안다. 기존 작품의 캐릭터를 이름만으로 그린다.
- 성인 그림을 걸러내지 않고 학습했다. 그래서 사람 몸을 잘 그린다. SD 2.x의 실패와 정반대다.
구조는 2023년의 SDXL 그대로인데 지금도 캐릭터 그림에서 많이 쓰인다. 학습 데이터와 그 위에 쌓인 LoRA 수십만 개의 힘이다. 구조보다 데이터가 중요하다는 것을 보여 준다.
기반 모델과 파생 모델
모델 사이트에 가면 이름이 수천 개다. 대부분 몇 개의 기반 모델에서 갈라져 나온 것이다.
- 기반 모델: 처음부터 학습했거나, 대규모로 파인튜닝한 것. 위 표의 모델들이다.
- 파생 모델: 기반 모델을 조금 더 학습하거나 여러 모델을 섞은 것. 화풍이 조금씩 다르다.
중요한 것은 호환성이다. LoRA, ControlNet 같은 덧붙임은 기반 모델이 같아야 쓸 수 있다. SDXL용 LoRA는 Flux에 못 쓴다. Illustrious용 LoRA는 Illustrious 파생 모델에는 대체로 통하지만 Pony에는 잘 안 통한다. 같은 SDXL 구조라도 학습으로 가중치가 멀어졌기 때문이다.
모델 사이트는 이것을 "기반 모델" 항목으로 표시한다. 무엇을 받든 이 항목부터 본다.
라이선스
가중치를 내려받을 수 있다고 해서 마음대로 쓸 수 있는 것은 아니다. 게임처럼 파는 물건에 쓸 그림을 만든다면 반드시 확인해야 한다.
| 종류 | 뜻 | 예 |
|---|---|---|
| 자유 이용 | 상업 이용 가능 | Apache 2.0: Flux.1 schnell, 처음의 Qwen-Image, Wan. 금지 용도 조항만 있는 것: SD 1.5, SDXL |
| 조건부 | 매출 규모 등 조건 안에서 상업 이용 가능 | 일부 Flux 계열 |
| 비상업 | 연구와 개인 용도만. 상업 이용은 별도 계약 | Flux.1 dev, 연구용 라이선스로 나온 모델 |
같은 회사의 같은 계열이라도 판마다 라이선스가 다르다. 그리고 LoRA나 파생 모델은 기반 모델의 라이선스를 따른다. 모델 설명서의 라이선스 항목을 직접 읽자.
무엇을 고를까
정답은 없다. 목적이 정한다.
| 목적 | 볼 것 |
|---|---|
| 애니풍 캐릭터, 기존 화풍과 LoRA 활용 | Illustrious 계열. 생태계가 가장 크다 |
| 문장으로 복잡한 장면 지시, 글자 넣기 | 최신 DiT 계열 |
| 한 캐릭터를 여러 포즈로 | 편집을 지원하는 모델, 또는 캐릭터 LoRA (3, 4단계) |
| 빠른 시험 | 증류 모델 |
실제로는 섞어 쓴다. 애니 모델로 캐릭터를 잡고, 편집 모델로 포즈를 바꾸고, 영상 모델로 움직인다.
확인 문제
- SDXL용 LoRA를 Flux에 쓸 수 없는 이유는?
- SD 2.x가 실패한 이유 두 가지는?
- 2023년 구조인 SDXL 기반 애니 모델이 지금도 쓰이는 이유는?
풀이
- 디노이저의 구조가 다르다. LoRA는 특정 가중치에 더하는 값이라서 구조가 다르면 붙일 자리가 없다.
- 학습 데이터에서 성인 이미지를 걸러내 사람 몸을 못 그렸다. 그리고 텍스트 인코더를 바꿔 기존 프롬프트와 파생 모델이 통하지 않았다.
- 학습 데이터(태그 달린 캐릭터 그림)와 그 위에 쌓인 LoRA 생태계 때문이다. 구조보다 데이터가 결과를 정한다.