<<Stable Diffusion 은 무엇인가?>>

1.개요

 

Stability AI에서 오픈소스 라이선스로 배포한 text-to-image 인공지능 모델이다. 2022년 8월 22일 출시했다.

 

2.상세

 

Stable Diffusion은 독일 뮌헨 대학교 Machine Vision & Learning Group (CompVis) 연구실의 "잠재 확산 모델을 이용한 고해상도 이미지 합성 연구"[1]를 기반으로 하여, Stability AI와 Runway ML 등의 지원을 받아 개발된 딥러닝 인공지능 모델이다.

Stability AI는 방글라데시계 영국인 에마드 모스타크(Emad Mostaque)가 사비로 만든 회사로,

Stable Diffusion에 방대한 LAION-5B 데이터베이스를 학습 시킬 수 있도록 컴퓨팅 자원을 제공하였다.

OpenAI의 Dall-e 2나 구글의 Imagen과 같은 기존 text-to-image 모델들과는 다르게 컴퓨터 사용 리소스를 대폭 줄여 4GB 이하의 VRAM을 가진 컴퓨터에서도 돌릴 수 있다.

또한 개발 비용이 클 것임에도 불구하고 통 크게 오픈 소스로 공개해서 일반인들도 사용을 할 수 있다.

사실상 그림 인공지능의 시대를 연 인공지능이며, 오픈소스로 공개된 덕분에 해당 인공지능을 기반으로 하는 AI 이미지

서비스 기능이 우후죽순으로 늘어나고 있으며 Stable Diffusion은 유명하고 대중적인 이미지 생성형 인공지능 중 하나가 되었다.

컨트롤넷이라는 플러그인으로 포즈 지정이 가능하다. 신체 부위에 해당하는 각색의 작대기를 조절하는 Openpose에서 선화 수준의 밑그림 구도를 기반으로 이를 보조해주는 Canny 모델 등 여러가지 ControlNet 대응 보조모델을 사용할 수 있다.

 

3.버전

 

2022년 8월 22일 1.0 버전 출시.

2022년 11월 24일/ 2.0 버전을 발표했다.

학습 데이터의 해상도가 512x512에서 786x786으로 높아졌고 OpenCLIP이라는 독자적인 텍스트 인코더를 도입하게 되었다. 또한 해당 버전은 학습 데이터에서 성인물을 제거했고, 특정 창작자의 화풍을 모방하는 기능이 제대로 작동하지 않게 되었다. # # 이에 대해 사용자들의 큰 반발이 있었으나 법적 문제를 피하기 위해선 어쩔 수 없었다는 의견도 있다. 또한 화풍 문제는 새로운 텍스트 인코더인 OpenCLIP의 문제점으로 밝혀지면서[3] StabilityAI가 고의로 제거한 것이 아닌 것으로 밝혀졌다. 이후 업데이트 된 2.1에선 신체 비율에 중요한 이미지는 제거하지 않은 채로 학습되었다.

2022년 12월 13일/ Riffusion이라는 모델이 출시되어 음악도 생성할 수 있다. 여러 음악의 스펙트로그램의 이미지를 학습시킨 뒤 AI가 생성한 스펙트로그램 이미지를 다시 음악으로 변환하는 원리다.

2022년 12월 15일/ 앞으로 나올 3.0 버전에 새 기능을 추가했다. 이제 원작자가 데이터셋에 있는 자신의 작품을 삭제할 수 있게 되었다. 데이터셋에서 작품을 생략하길 원하는 아티스트는 스태빌리티AI가 별도로 마련한 홈페이지 ‘헤브아이빈트레인(HaveIBeenTrained)’에 접속해 텍스트나 파일을 입력하면 된다.

 

4.모델 아키텍처

Stable dIffusion은 크게 보면 CLIP, UNet, VAE(Variational Auto Encoder, 자기부호화기)이라는 세 가지 인공신경망으로 이루어져 있다. 유저가 텍스트를 입력하면 텍스트 인코더(CLIP)가 유저의 텍스트를 토큰(Token)이라는 UNet이 알아들을 수 있는 언어로 변환하고, UNet은 토큰을 기반으로 무작위로 생성된 노이즈를 디노이징하는 방식이다. 디노이징을 반복하다 보면 제대로 된 이미지가 생성되며, 이 이미지를 픽셀로 변환하는 것이 VAE의 역할이다.

해상도가 높아질수록 리소스를 기하급수적으로 사용하게 되는 종전의 확산 확률 이미지 생성 모델과 달리, 앞뒤에 오토인코더를 도입하여 이미지 전체가 아닌 훨씬 작은 차원의 잠재공간(latent space)에서 노이즈를 삽입/제거하므로, 비교적 큰 해상도의 이미지를 생성하는데도 리소스 사용량을 대폭 줄여 일반 가정의 그래픽카드 정도로도 이용이 가능해진 것이 특징이다.

 

5.라이선스

 

Stable AI에서 오픈소스 머신러닝 전용 라이선스[4]를 새로 만들었다. 일반적인 오픈소스 라이선스와 다르게 Stable Diffusion을 사용하여 서비스를 할 경우 반드시 명시를 하여야 하고 파인튜닝을 한 모델들은 라이선스에 명시된 특정 제한적인 용도에는 사용이 되면 안 된다.

 

6.구동

 

오픈소스 모델답게 다양한 오픈소스 프로젝트들이 존재한다. 다만 설명은 영문으로 되어있으니 주의할 것.

• Stable Diffusion web UI - 웹 기반의 유저 인터페이스("Web UI")를 통해 Stable Diffusion 모델을 편리하게 사용할 수 있도록 만들어 놓은 프로젝트이다. 개발자[5]의 꾸준한 업데이트를 통해, Stable Diffusion의 프론트엔드 기능 외에도 GFPGAN 보정, ESRGAN 업스케일링, Textual Inversion 등 다양한 기능을 도입하고 있다.
• 원작자 - 논문을 게재한 CompVis의 원본 프로젝트. 사용성은 떨어지니 참고만 하자.
• Diffusers - Transformers나 Datasets 같은 머신러닝 프레임워크 제공사로 유명한 허깅페이스의 새로운 diffusion 모델용 프레임워크. stable diffusion의 finetuning을 하고 싶다면 가장 쉽게 할 수 있는 방법을 제공해준다.
• DiffusionBee - Stable Diffusion을 직접 돌려볼 수 있는 맥용 앱이다. 텍스트 입력과 이미지 입력 둘 다 가능하며 인페인팅과 아웃페인팅 기능도 지원한다. 일반 Apple Silicon 버전은 애플 실리콘 내부의 뉴럴 엔진을 사용하고, HQ 버전은 GPU를 활용하여 퀄리티가 더 높은 대신 속도가 2배 정도 느리다. 인텔 맥도 지원 중이며 향후 윈도우도 지원 예정. [6]
• Draw Things - Stable Diffusion을 직접 구동할 수 있는 iOS, iPadOS 및 macOS용 앱이다. CPU + GPU, CPU + Neural Engine, CPU + GPU + Neural Engine(All)의 3가지 모드를 지원한다. WebUI와 동일하게 Checkpoint, LoRA, Textual Inversion 등을 활용할 수 있고 Inpaint 등의 WebUI 핵심기능들도 지원하고 있어 WebUI 사용자라면 빠르게 적응할 수 있는 것이 장점. 다만 WebUI 확장기능과 같은 것은 지원하지 않으며, iOS 및 iPadOS의 경우 메모리 용량의 한계로 인해 2023년 기준으로 구형 기기는 물론 신형 기기에서조차 일정 해상도 이상으로 구동했을 경우 메모리 부족으로 앱이 꺼지는 일이 종종 발생한다.
• Riffusion - 스펙트로그램을 역이용해 작곡 AI에 응용하려는 사례
• 디시인사이드 AI 이미지 갤러리 - civitai의 서비스를 이용해서 AI이미지 생성이 가능한 전용 갤러리를 오픈했다.

7.외부링크

 

• 위키백과(영문)
• Civitai: LoRA, Textual Inversion, Hypernetwork 등 다양한 타입의 모델과 적용 예시를 공유하는 플랫폼으로, 학습 파일 공유 사이트에 있어서는 제일 대중적으로 이용되고 있다. 특히 예시를 썸네일로 바로 볼 수 있고 세세한 검색도 지원하기 때문에 쉽게 사용할 수 있다는 점이 강점. 단점이라면 서버가 상당히 불안정한 편이고, 플랫폼 사이트 자체가 아직 완성된 상태가 아니라 여러 실험적인 업데이트를 자주 실행해서 완성도가 들쑥날쑥하다.
  검열도 꽤 열심히 굴리는 편으로 NSFW 자료를 제법 쉽게 얻을 수는 있지만, 고어물[7], 료나물 등 폭력적인 자료, 일정 수위 이상 NSFW 자료, 너무 혐오스러운 자료 등은 운영진이 검열 후 올릴 수 없도록 조치를 취하거나 어쩌다 업로드가 되어도 대부분 빠르게 차단한다. 물론 Stable Diffusion이 조금만 응용해도 각종 범죄에 악용될 수 있기 때문에 사이트가 문 닫지 않으려면 어쩔 수 없는 일.
• Hugging Face: Stable Diffusion을 비롯해 각종 인공지능 모델을 업로드하는 세계 최대의 인공지능 플랫폼이긴 하나, Stable Diffusion에 특화된 Civitai와 비교하면 불편한 점이 많아 일반인이 사용하기에는 아무래도 접근성과 편의성이 조금 떨어지는 편이다. 그래도 수준 높은 모델이나 임베딩 자료들이 이곳을 중심으로 공유되는 편이며, 가끔씩 Civitai에는 없는 자료나 재업로드된 과거 자료들을 찾아 볼 수 있는 편.
• Pixai: Civitai와 마찬가지로 Stable Diffusion 관련 자료를 공유하는 플랫폼. 자체 그림 생성 서비스를 제공하는데, 특이하게도 학습을 통한 LoRA 파일 제작 기능도 지원하고 있어서 학습에 대한 진입장벽을 어느정도 낮추는데 기여했다. 다만 학습이 간결화되어있어 프롬프트와 태그가 부정확하거나 퀄리티가 낮은 저질 LoRA 파일도 자주 나오고 있고, 유료 구독을 하지 않으면 여러가지 기능이 제한되는지라 Civitai에 비하면 대중성이 떨어지는 편.

*본문은 나무위키 내용을 참조 구성 하였습니다.

Stable Diffusion - 나무위키 (namu.wiki)

 

Stable Diffusion - 나무위키

*아래. 위키피디아 의 글들이 더 많은 분량과 정보가 있습니다.

참조하세요.

안정적인 확산 - 위키백과, 우리 모두의 백과사전 (wikipedia.org)

Stable Diffusion - Wikipedia