Fooocus – Lora (low-rank adaptation) 적용해서 이미지 생성하기

Fooocus 사용법. AI 이미지 생성하기

Lora (low-rank adaptation) 를 사용하면 체크포인트 모델에 학습이 되어있지 않아 생성이 잘 안되는 캐릭터나 스타일, 그림체 등을 반영해 이미지를 생성할 수 있습니다.

체크포인트 모델과 Lora를 함께 사용해서 이미지를 생성하는데 체크포인트 모델의 가중치를 사용하면서 Lora로 변화를 줘서 새로운 학습내용을 반영할 수 있습니다.

Lora의 용량은 체크포인트에 비하면 훨씬 작지만 성능은 뛰어납니다.

civitai에서 여러 가지 Lora를 찾아볼 수 있는데 체크포인트의 종류(ILXL, pony 등)에 따라 잘 동작하는 Lora가 다릅니다. civitai의 필터링 기능을 이용해 체크포인트에 맞는 Lora를 찾아볼 수 있습니다.

Lora 사용 해보기

사용할 Lora파일은 Fooocus/models/loras 경로에 넣어줍니다. 프리셋에 적용해서 실행 시 다운로드 되게하거나 기본으로 사용하게 할 수 있습니다.

이 글에서는 아래와 같은 모델들을 사용하겠습니다. 다운로드 받기 위해서는 로그인이 필요한 모델이 포함되어있습니다.

포니 모델을 사용했는데 모델 링크에서 권장 설정을 확인할 수 있습니다.

Fooocus에서 Lora는 두가지 방법으로 적용할 수 있습니다.

Models 탭에서 파일을 선택해 적용할 수 있고 Weight로 가중치를 조절합니다.

<lora:pixelart:1.0> 을 프롬프트에 입력했습니다.

Lora는 트리거워드가 있는 것과 없는 것이 있습니다. civitai를 보면 트리거워드가 나와있습니다. 트리거워드가 없는 Lora는 그냥 적용만 하면 되고 트리거워드가 있는 Lora는 적용하고 프롬프트에 트리거워드를 포함시켜줍니다.

Models 탭에서 적용시켰고 트리거워드는 없습니다. 픽셀아트의 느낌이 나는 것을 확인할 수 있습니다.

아래 예시에서 Mita, 1girl, low twintails, red shirt, headband, hair scunchie, pleated skirt, thighhighs 가 트리거워드입니다.

Models 탭에서 적용시켰고 트리거워드가 포함되었습니다. 캐릭터가 잘 생성된 것을 확인할 수 있습니다.

세세한 부분에 약간의 변화가 있지만 전체적인 구도는 비슷하고 그림체가 픽셀아트처럼 바뀌었습니다.

세세한 부분에 약간의 변화가 있지만 전체적인 구도는 비슷하고 미타 캐릭터를 잘 반영합니다.

civitai의 모델 페이지에 권장되는 가중치가 나와있지만 값을 바꿔보면서 이미지를 생성해보는 것도 좋습니다. 그리고 가중치를 음수로 설정하면 양수일때와 반대의 효과가 있어 재밌는 결과를 얻을 수도 있습니다.