AGENT SKILL

model-benchmark

신규 이미지 모델이나 양자화 모델을 비교할 때 속도, VRAM, 품질, 안정성 기준으로 평가 계획을 세운다.

License 许可
MIT
最近更新
2026-10-07
Stars
★ 3
Forks
0

01 前言 Front Matter

name
model-benchmark
description
신규 이미지 모델이나 양자화 모델을 비교할 때 속도, VRAM, 품질, 안정성 기준으로 평가 계획을 세운다.
allowed-tools
Read, Glob

03 SKILL.md 正文

Model Benchmark

절차

  1. ./variables.json, ./memory.md, ./comfyui-config.json을 읽고 현재 기준선과 실험 맥락을 확인한다.
  2. 가능하면 전역 generate-image 스킬의 package-first 원칙을 따른다고 가정하고, 현재 사용 가능한 워크플로우 패키지를 먼저 확인할 필요가 있는지 판단한다.
  3. 사용자의 요청을 다음 중 하나 이상으로 분류한다.
    • 신규 이미지 모델 첫 검증
    • 기존 기준선 대비 품질 비교
    • 양자화 버전 비교
    • 속도/VRAM 병목 측정
    • 호환성 또는 안정성 확인
    • 패키지별 비교 실험 설계
  4. 비교 대상마다 아래 6개 항목을 정리한다.
    • 모델 이름 또는 변형명
    • 테스트 목적
    • 고정할 조건
    • 바꿀 조건
    • 성공 기준
    • 리스크 또는 확인 필요 사항
  5. 패키지 기반 비교가 중요하면 어떤 workflow package를 쓸지, params에서 무엇을 고정할지, resolver가 비교 결과에 영향을 주는지까지 적는다.
  6. 가능하면 가장 가벼운 스모크 테스트와, 가장 정보량이 큰 본 테스트를 분리해서 제안한다.
  7. 최종 답변은 바로 실행 가능한 비교 표 또는 체크리스트 형태를 우선한다.

평가 축

  • 속도: 1장 기준 생성 시간, 첫 로드 시간, 반복 생성 체감 속도
  • VRAM: 피크 사용량, 해상도/배치 확장 가능성, OOM 위험
  • 품질: 해부학 안정성, 디테일 보존, 프롬프트 추종성, 색 안정성, 일관성
  • 안정성: 노드 호환성, VAE/업스케일러/Control 계열과의 충돌 여부, 재현성
  • 유지보수성: 워크플로우 패키지에 무리 없이 편입 가능한지, params/resolver 구조가 과도하게 복잡해지지 않는지

비교 규칙

  • 비교 초기에는 프롬프트, negative, 해상도, sampler, scheduler, steps, seed를 가능한 한 고정한다.
  • 패키지 기반 비교라면 동일 패키지에서 모델만 바꾸는 테스트와, 동일 모델에서 패키지만 바꾸는 테스트를 분리한다.
  • 한 번에 여러 변수를 흔들지 말고, 기준선 1개와 변경점 1개를 우선 비교한다.
  • 품질 평가는 막연한 인상 대신 실패 패턴을 구체적으로 적는다. 예: 손 붕괴, 미세 디테일 손실, 색 번짐, 텍스트 프롬프트 무시.
  • 신규 모델 첫 테스트라면 짧은 스모크 테스트로 로딩/기본 출력/에러 여부를 먼저 확인한다.
  • 기준선이 없으면 현재 active_checkpoint 또는 comfyui-config.json의 활성 체크포인트를 임시 기준선으로 삼는다.

양자화 모델 규칙

  • 양자화 비교 시에는 최소한 FP 계열 또는 더 높은 정밀도 기준선 하나를 함께 둔다.
  • 속도 이득만 보지 말고, 해상도 상승 시 품질 붕괴가 커지는지도 본다.
  • VRAM 절감이 실제로 더 큰 배치, 더 높은 해상도, 더 복잡한 그래프에 도움이 되는지 연결해서 판단한다.
  • 호환성 불확실성이 있으면 "실사용 후보"와 "실험용 후보"를 분리해 제안한다.

추천 출력 형식

가능하면 다음 구조를 따른다.

  1. 평가 목표
  2. 기준선
  3. 비교 매트릭스
  4. 예상 리스크
  5. 먼저 돌릴 실험
  6. 결과 기록 문장 예시

결과 기록 문장 예시

  • "Z-Image FP16은 1024px 기준 품질 우세, 다만 첫 로드와 VRAM 부담이 큼"
  • "Anima Q8은 속도 이득이 있으나 특정 장면에서 미세 디테일 손실 확인 필요"
  • "현재 환경에서는 양자화 이득보다 노드 병목이 더 커서 워크플로우 경량화가 우선"
  • "portrait-balanced 패키지의 detail 모드는 품질 우세지만, fast 모드가 실사용 속도에는 더 적합"

04 同仓库更多 Skills

DevelopmentDummy
DevelopmentDummy/claude-play

generate-video

claude-play-bridge MCP 서버로 영상을 생성한다. 로컬 ComfyUI의 영상 워크플로 패키지(MiniMax H3 = 영상+오디오 동시 생성, WAN 2.2 i2v, Z-Image→영상)를 호출한다. 렌더가 수 분~수십 분 걸리므로 async 큐잉 + 파일 폴링이 기본 절차다. "영상", "동영상", "비디오", "video", "i2v", "t2v", "클립 만들어", "움직이는", "애니메이션 영상" 요청에 트리거된다.

图像与多媒体Skill与智能体开发
★ 3
DevelopmentDummy
DevelopmentDummy/claude-play

generate-image

claude-play-bridge MCP 서버로 이미지를 생성한다. 기본 백엔드는 ComfyUI(로컬 GPU, 워크플로 패키지 기반)이고, 사용자가 명시적으로 요청할 때만 GPT/Gemini 백엔드를 사용한다.

图像与多媒体Skill与智能体开发
★ 3
DevelopmentDummy
DevelopmentDummy/claude-play

generate-image-openai

OpenAI/GPT 이미지 생성(GPT Image 품질 / 텍스트 렌더링·이미지 편집 강점). 기본 백엔드는 Codex CLI 구독(건당 과금 없음). ⚠️ 사용자가 이 백엔드를 명시적으로 지정했을 때만 사용한다(예 "GPT로/OpenAI로 그려줘"). 기본 이미지 생성은 generate-image(ComfyUI)이며, 사용자가 콕 집어 요청하지 않았다면 절대 OpenAI를 자동으로 선택하지 마라.

图像与多媒体
★ 3
DevelopmentDummy
DevelopmentDummy/claude-play

generate-spritesheet

Gemini 이미지 생성으로 게임용 아이콘 스프라이트시트를 만들고 자동 슬라이스한다. 아이콘, UI 리소스, 뱃지, 마커 등 여러 개의 동일 카테고리 에셋이 필요할 때 사용한다.

★ 3
DevelopmentDummy
DevelopmentDummy/claude-play

generate-image-gemini

Gemini API로 이미지를 생성한다. 패널 배경, UI 리소스, 아이콘, 장면 삽화 등 디자인 리소스 제작에 사용한다. ComfyUI가 없을 때의 이미지 생성 대안이기도 하다.

图像与多媒体
★ 3
DevelopmentDummy
DevelopmentDummy/claude-play

workflow-research

새 ComfyUI 워크플로우를 설계하거나 신규 모델, 양자화 모델, LoRA 개발 전략을 비교할 때 분석 틀을 잡는다.

资料检索与研究Skill与智能体开发
★ 3