1. 소개
Stable Diffusion은 확산 모델 기반 이미지 생성 기술로, 텍스트로부터 고품질 이미지를 생성할 수 있어 CG, 일러스트레이션, 고해상도 배경화면 등 다양한 분야에 적합합니다.
그러나 복잡한 연산 과정으로 인해 Stable Diffusion의 이미지 생성 속도는 종종 병목 현상이 될 수 있습니다. 이 문제를 해결하기 위해 novita.ai는 Xformers, Aitemplate, TensorRT, OneFlow 등 가속 방법에 대한 일련의 비교 테스트를 수행했습니다.
이 글에서는 이러한 가속 방법의 원리와 성능 테스트 결과를 소개하고, 다양한 그래픽 카드에 대한 비용 효율성 고려 사항을 제공하여 배포 시 정보에 기반한 선택을 돕고자 합니다.
테스트 결과에 따르면 OneFlow는 RTX 3090에서 Xformers 대비 211.2%, RTX 4090에서 205.6%의 속도 향상을 달성했습니다. 따라서 Stable Diffusion 배포 시 선호되는 GPU는 RTX 3090입니다.
2. 가속 방식 원리 및 특성 비교
먼저, stable diffusion을 가속하는 데 사용할 수 있는 다양한 방식을 정리했습니다.
가속 방식으로 Xformers, Aitemplate, TensorRT, OneFlow를 선택했습니다. NvFuser는 원리가 Xformers와 유사하며, 둘 다 FlashAttention 기술을 사용합니다. DeepSpeed와 colossal은 주로 학습 가속용이며, OpenAI Triton은 모델 배포 엔진으로 배치 크기 가속에는 적합하지만 모델 최적화 지연 시간에는 적합하지 않습니다. 따라서 이들은 비교에서 제외했습니다.
현재 WebUI 기본 방식과 네 가지 가속 방식(Xformers, Aitemplate, TensorRT, OneFlow)의 성능을 다양한 GPU에서 테스트하고 있습니다.
Aitemplate의 가속 효과 평가에는 VoltaML을, Xformers의 가속 평가에는 Stable Diffusion WebUI를, TensorRT 성능 평가에는 공식 TensorRT 예제를 사용하며, OneFlow는 Diffusions에 통합하여 가속을 테스트합니다.
3. 가속 방식 테스트
다음으로 관련 테스트 설정을 제시하고 실제 테스트 결과를 공유합니다.
3.1 테스트 환경
이번 테스트의 성능 지표는 초당 반복 횟수(its/s)입니다.
이미지 설정: 512*512, steps 100
프롬프트: A beautiful girl, best quality, ultra-detailed, extremely detailed CG unity 8k wallpaper, best illustration, an extremely delicate and beautiful, floating, high resolution.
네거티브: Low resolution, bad anatomy, bad hands, text error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet, fused body.
샘플러: Euler a
모델: Stable Diffusion 1.5
3.2 테스트 결과
일련의 테스트를 거쳐 다양한 GPU에서의 성능 테스트 결과를 얻었으며, 아래와 같습니다.
위 표에서 가속 비교는 OneFlow > TensorRT > Aitemplate > Xformers 순서임을 알 수 있습니다.
OneFlow는 RTX 3090에서 Xformers 대비 211.2%, RTX 4090에서 205.6%의 상대적 속도 향상을 달성합니다.
4. GPU 성능 및 비용 효율성 비교
다양한 GPU에 대한 비용 효율성 분석을 수행했습니다. 결론은 다음과 같습니다.
결론 1: 비용 효율성 측면에서 RTX040 GPU가 가장 높은 가치를 제공합니다.
결론 2: 극도로 저사양 GPU는 전체 비용을 증가시킬 수 있습니다. RTX 2080Ti는 초기 대규모 투자와 전체 비용 간의 균형을 맞출 수 있습니다.
결론 3: 성능이 가장 낮은 GPU
이 테스트에서는 메모리 용량이 6GB를 초과하는 몇 가지 저사양 GPU(M60, 1660s, 1080)를 선택했습니다.
1. 1660s 및 1080과 같은 GPU는 TensorRT, Aitemplate, OneFlow 같은 가속 방식을 지원하지 않으며, 이는 메모리 부족 또는 GPU 비호환성 때문일 수 있습니다.
2. 이 중 1660s(1080)는 512*512 이미지 생성 시 20 steps에 7.66초(7.57초)가 소요되며 2.61 it/s(2.64 it/s)를 달성하여 어느 정도 사용 가능한 수준입니다.
3. 반면 M60은 1.27 it/s를 기록하며 512*512 이미지 20 steps 생성에 15.74초가 소요되어 사용성이 낮습니다.
5. 선택 권장 사항
5.1 RTX 4090이 가장 높은 비용 효율성을 제공하지만, RTX 3090 배포를 권장합니다.
예를 들어, runpod 테스트를 통해 각 GPU의 “반복 횟수/달러”를 계산하여 GPU의 비용 효율성을 나타낼 수 있습니다.
유사한 활용률에서 RTX 4090이 RTX 3090보다 비용 효율성이 더 높다는 것이 분명합니다. 또한 RTX 3090은 A5000, A4000과 같은 동급 GPU보다 성능이 우수합니다.
Stable Diffusion 모델에 RTX 4090을 선택하는 것은 구체적인 상황에 따라 달라집니다.
- 실제 비용 효율성은 활용률(사용 시간/60분) * its/$에 의해 결정됩니다. 서비스 모드와 예상 활용률에 따라, RTX 4090의 활용률이 RTX 3090 두 배 사용과 유사하다면 RTX 4090의 비용 효율성이 더 높습니다. 그러나 두 개의 RTX 3090 인스턴스를 배포하여 동시 지원 및 요청 처리 증가로 인해 활용률이 더 높다면 RTX 3090이 선호될 수 있습니다. 활용률은 특정 시나리오에 따라 분석해야 합니다.
- its/$는 추론 성능을 나타내며, 더 큰 VRAM은 더 많은 모델을 캐싱하여 모델 로딩 시간을 줄이고 이미지 생성 프로세스를 크게 가속화합니다. RTX 3090과 RTX 4090 모두 24GB VRAM을 가지고 있지만, Stable Diffusion WebUI가 VRAM 사용량에 따라 최적화된다면 RTX 3090이 VRAM 비용에서 이점을 가질 수 있습니다.
- 추론 속도를 우선시한다면 RTX 4090이 최선의 선택이며, 추론 시간이 RTX 3090의 약 절반입니다.
이는 https://timdettmers.com/2023/01/30/which-gpu-for-deep-learning/의 결과와 일치합니다. 더 많은 GPU 데이터는 아래 그래프를 참조하세요.
처리 체인에서 GPU 시간이 전체 시간에서 차지하는 비중이 작은 경우, RTX 3090을 대체하기 위해 약간 낮은 성능의 GPU를 선택할 수 있습니다. 여기에는 A5000, A10G, RTX 3080, RTX 3080Ti, RTX 2080Ti 등이 포함됩니다.
질문이 있거나 Stable Diffusion의 더 많은 가속 옵션을 알아보고 싶다면 Discord로 연락 주세요.
novita.ai와 함께 Stable Diffusion의 가능성을 탐험해 보세요!
novita.ai 는 Stable Diffusion API와 10,000개의 모델을 위한 수백 개의 빠르고 가장 저렴한 AI 이미지 생성 API를 제공합니다. 🎯 단 2초 만에 가장 빠른 생성, 종량제 요금제, 표준 이미지당 최소 $0.0015, 자체 모델 추가 가능 및 GPU 유지 관리 불필요. 오픈소스 확장 기능을 무료로 공유하세요.
추천 자료
