model-benchmark
신규 이미지 모델이나 양자화 모델을 비교할 때 속도, VRAM, 품질, 안정성 기준으로 평가 계획을 세운다.
- License 许可
- MIT
- 最近更新
- 2026-10-07
- Stars
- ★ 3
- Forks
- 0
01 前言 Front Matter
- name
- model-benchmark
- description
- 신규 이미지 모델이나 양자화 모델을 비교할 때 속도, VRAM, 품질, 안정성 기준으로 평가 계획을 세운다.
- allowed-tools
- Read, Glob
03 SKILL.md 正文
Model Benchmark
절차
- ./variables.json, ./memory.md, ./comfyui-config.json을 읽고 현재 기준선과 실험 맥락을 확인한다.
- 가능하면 전역
generate-image스킬의 package-first 원칙을 따른다고 가정하고, 현재 사용 가능한 워크플로우 패키지를 먼저 확인할 필요가 있는지 판단한다. - 사용자의 요청을 다음 중 하나 이상으로 분류한다.
- 신규 이미지 모델 첫 검증
- 기존 기준선 대비 품질 비교
- 양자화 버전 비교
- 속도/VRAM 병목 측정
- 호환성 또는 안정성 확인
- 패키지별 비교 실험 설계
- 비교 대상마다 아래 6개 항목을 정리한다.
- 모델 이름 또는 변형명
- 테스트 목적
- 고정할 조건
- 바꿀 조건
- 성공 기준
- 리스크 또는 확인 필요 사항
- 패키지 기반 비교가 중요하면 어떤 workflow package를 쓸지, params에서 무엇을 고정할지, resolver가 비교 결과에 영향을 주는지까지 적는다.
- 가능하면 가장 가벼운 스모크 테스트와, 가장 정보량이 큰 본 테스트를 분리해서 제안한다.
- 최종 답변은 바로 실행 가능한 비교 표 또는 체크리스트 형태를 우선한다.
평가 축
- 속도: 1장 기준 생성 시간, 첫 로드 시간, 반복 생성 체감 속도
- VRAM: 피크 사용량, 해상도/배치 확장 가능성, OOM 위험
- 품질: 해부학 안정성, 디테일 보존, 프롬프트 추종성, 색 안정성, 일관성
- 안정성: 노드 호환성, VAE/업스케일러/Control 계열과의 충돌 여부, 재현성
- 유지보수성: 워크플로우 패키지에 무리 없이 편입 가능한지, params/resolver 구조가 과도하게 복잡해지지 않는지
비교 규칙
- 비교 초기에는 프롬프트, negative, 해상도, sampler, scheduler, steps, seed를 가능한 한 고정한다.
- 패키지 기반 비교라면 동일 패키지에서 모델만 바꾸는 테스트와, 동일 모델에서 패키지만 바꾸는 테스트를 분리한다.
- 한 번에 여러 변수를 흔들지 말고, 기준선 1개와 변경점 1개를 우선 비교한다.
- 품질 평가는 막연한 인상 대신 실패 패턴을 구체적으로 적는다. 예: 손 붕괴, 미세 디테일 손실, 색 번짐, 텍스트 프롬프트 무시.
- 신규 모델 첫 테스트라면 짧은 스모크 테스트로 로딩/기본 출력/에러 여부를 먼저 확인한다.
- 기준선이 없으면 현재 active_checkpoint 또는 comfyui-config.json의 활성 체크포인트를 임시 기준선으로 삼는다.
양자화 모델 규칙
- 양자화 비교 시에는 최소한 FP 계열 또는 더 높은 정밀도 기준선 하나를 함께 둔다.
- 속도 이득만 보지 말고, 해상도 상승 시 품질 붕괴가 커지는지도 본다.
- VRAM 절감이 실제로 더 큰 배치, 더 높은 해상도, 더 복잡한 그래프에 도움이 되는지 연결해서 판단한다.
- 호환성 불확실성이 있으면 "실사용 후보"와 "실험용 후보"를 분리해 제안한다.
추천 출력 형식
가능하면 다음 구조를 따른다.
- 평가 목표
- 기준선
- 비교 매트릭스
- 예상 리스크
- 먼저 돌릴 실험
- 결과 기록 문장 예시
결과 기록 문장 예시
- "Z-Image FP16은 1024px 기준 품질 우세, 다만 첫 로드와 VRAM 부담이 큼"
- "Anima Q8은 속도 이득이 있으나 특정 장면에서 미세 디테일 손실 확인 필요"
- "현재 환경에서는 양자화 이득보다 노드 병목이 더 커서 워크플로우 경량화가 우선"
- "portrait-balanced 패키지의 detail 모드는 품질 우세지만, fast 모드가 실사용 속도에는 더 적합"
04 同仓库更多 Skills
generate-video
claude-play-bridge MCP 서버로 영상을 생성한다. 로컬 ComfyUI의 영상 워크플로 패키지(MiniMax H3 = 영상+오디오 동시 생성, WAN 2.2 i2v, Z-Image→영상)를 호출한다. 렌더가 수 분~수십 분 걸리므로 async 큐잉 + 파일 폴링이 기본 절차다. "영상", "동영상", "비디오", "video", "i2v", "t2v", "클립 만들어", "움직이는", "애니메이션 영상" 요청에 트리거된다.
generate-image
claude-play-bridge MCP 서버로 이미지를 생성한다. 기본 백엔드는 ComfyUI(로컬 GPU, 워크플로 패키지 기반)이고, 사용자가 명시적으로 요청할 때만 GPT/Gemini 백엔드를 사용한다.
generate-image-openai
OpenAI/GPT 이미지 생성(GPT Image 품질 / 텍스트 렌더링·이미지 편집 강점). 기본 백엔드는 Codex CLI 구독(건당 과금 없음). ⚠️ 사용자가 이 백엔드를 명시적으로 지정했을 때만 사용한다(예 "GPT로/OpenAI로 그려줘"). 기본 이미지 생성은 generate-image(ComfyUI)이며, 사용자가 콕 집어 요청하지 않았다면 절대 OpenAI를 자동으로 선택하지 마라.
generate-spritesheet
Gemini 이미지 생성으로 게임용 아이콘 스프라이트시트를 만들고 자동 슬라이스한다. 아이콘, UI 리소스, 뱃지, 마커 등 여러 개의 동일 카테고리 에셋이 필요할 때 사용한다.
generate-image-gemini
Gemini API로 이미지를 생성한다. 패널 배경, UI 리소스, 아이콘, 장면 삽화 등 디자인 리소스 제작에 사용한다. ComfyUI가 없을 때의 이미지 생성 대안이기도 하다.
workflow-research
새 ComfyUI 워크플로우를 설계하거나 신규 모델, 양자화 모델, LoRA 개발 전략을 비교할 때 분석 틀을 잡는다.