5단계. 검열과 해제의 원리
"검열"은 한 군데에 걸려 있지 않다. 여러 층에 서로 다른 방식으로 걸려 있고, 층마다 다루는 방법이 다르다. 수업은 1단계(원리)와 4단계(파인튜닝)를 마친 뒤에 이어진다. 아래는 미리 보는 전체 그림이다.
층 구조
| 층 | 무엇인가 | 원리 |
|---|---|---|
| 서비스 | API와 웹 서비스의 프롬프트 필터, 출력 분류기 | 로컬 실행에는 존재하지 않는다 |
| 파이프라인 | 모델 밖에 붙은 별도 분류기 | 가중치와 무관한 선택 모듈이다 |
| 학습 데이터 | 학습 전에 특정 이미지를 걸러낸 경우. 모델이 거부하는 것이 아니다. 그 개념을 모르는 것이다 | LoRA나 대규모 파인튜닝으로 개념을 다시 가르친다 |
| 가중치 | 개념 지우기로 특정 개념을 능동적으로 제거했거나, 증류 때문에 파인튜닝이 잘 먹히지 않는 경우 | 재학습하거나, 증류를 푼 뒤 파인튜닝한다 |
| 텍스트 인코더 | LLM 기반 인코더나 프롬프트 확장기가 거부하거나 순화하는 경우 | 거부 방향 벡터를 찾아 제거(abliteration)하거나 인코더를 파인튜닝한다 |
영상 모델도 같은 구조다. 데이터에 없던 동작이나 개념은 영상 LoRA로 가르친다.