AGENT SKILL

omnimodal

为纯文本主模型提供多模态能力:识别图片、视频、音频,并生成图片、视频、音频。遇到图片路径、截图、UI/网页截图、图表、错误弹窗、OCR、音频/视频理解、文生图/文生视频/TTS 或任何需要多模态能力的任务时自动启用。

License 许可
Apache-2.0
最近更新
2026-11-14
Stars
★ 1.6k
Forks
491

01 前言 Front Matter

name
omnimodal
description
为纯文本主模型提供多模态能力:识别图片、视频、音频,并生成图片、视频、音频。遇到图片路径、截图、UI/网页截图、图表、错误弹窗、OCR、音频/视频理解、文生图/文生视频/TTS 或任何需要多模态能力的任务时自动启用。

02 资源文件 1

03 SKILL.md 正文

Omnimodal

主模型使用纯文本模型时,只要任务需要看媒体、听媒体或生成媒体,就自动调用 omnimodal_* MCP 工具,不要等用户手动开启,也不要自行假设媒体内容。

自动触发

  • 用户消息中有图片、视频、音频路径或附件。
  • 任务包含 OCR、截图、UI、设计稿、图表、表格图片、错误弹窗、音频/视频理解。
  • 主任务不是媒体任务,但为了完成它必须知道媒体内容。
  • 用户要求生成图片、视频、语音、音乐、声音克隆或声音设计。

识别工具

  • 单张图片:omnimodal_recognize_image(image, task, mode)。image 支持本地路径、data: URL 和可解码的 base64。
  • 多张图片:omnimodal_recognize_images_batch(images, task, mode, max_workers)。
  • 单个视频:omnimodal_recognize_video(video, task, mode)。
  • 批量视频:omnimodal_recognize_videos_batch(videos, task, mode, max_workers)。
  • 单个音频:omnimodal_recognize_audio(audio, task, mode),长音频自动走 ASR 转写。
  • 批量音频:omnimodal_recognize_audios_batch(audios, task, mode, max_workers)。
  • 剪贴板图片:omnimodal_read_clipboard_image(task, mode)。
  • 拖拽媒体:omnimodal_read_dragged_image / omnimodal_read_dragged_video / omnimodal_read_dragged_audio。

网页动态内容先调用 omnimodal_capture_page(url, actions, viewport, output_dir),再把截图路径交给批量识别。Windows 全屏、主屏或指定窗口截图先调用 omnimodal_list_windows(),再调用 omnimodal_capture_windows(mode, window, output_dir)。

生成工具

  • omnimodal_generate_image(prompt, tier, size, n, wait, confirm):文生图。
  • omnimodal_generate_video(prompt, tier, duration, resolution, wait, confirm):文生视频。
  • omnimodal_generate_video_from_image(image, prompt, tier, duration, resolution, wait, confirm):图生视频。
  • omnimodal_edit_video(video, prompt, tier, duration, resolution, reference_image, wait, confirm):视频编辑。
  • omnimodal_generate_audio(text, voice, tier, kind, preview_text, wait, confirm):TTS、声音克隆、声音设计、音乐生成。
  • omnimodal_get_task_result(task_id):查询异步任务。

费用确认是强制规则:生成工具必须在调用时传 confirm=true;否则返回预计费用且不实际调用付费接口。不要绕过确认。

生成后不要自动识别验证:用户要求生成图片、视频或音频时,只调用对应生成工具并直接返回结果路径;不要为了“检查生成效果”再自动调用识别工具。只有用户明确要求检查生成结果、或生成结果明显异常时才允许追加识别。

mode 档位

识别档位统一为:

  • ocr:仅图片文字提取。
  • quick:快速识别,关闭思考,短输出。
  • standard:标准提取,默认。
  • full:完整提取,不限制输出。
  • quick_analysis / balanced_analysis / deep_analysis:逐步加强的分析档。

档位可通过插件目录 config/profiles.json 覆盖;本机私有覆盖写在 config/local.json,不会进入 Git。

配置

API Key 只写在插件根目录 .env:

OMNIMODAL_API_KEY=你的千问或DashScope API Key
OMNIMODAL_PROVIDER=dashscope
OMNIMODAL_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
OMNIMODAL_IMAGE_MODEL=qwen3.7-flash
OMNIMODAL_VIDEO_MODEL=qwen3.7-flash
OMNIMODAL_AUDIO_MODEL_STANDARD=qwen3.5-omni-flash
OMNIMODAL_AUDIO_MODEL_PRO=qwen3.5-omni-plus

可切换厂商:

  • OMNIMODAL_PROVIDER=zai:GLM 图片/视频/音频理解、GLM 文生图、GLM 文生视频和 GLM ASR。
  • OMNIMODAL_PROVIDER=openai_compatible:识别和 OpenAI Images 风格图片生成;视频/音频生成会返回明确的不支持提示。

模型目录、档位、超时、输出目录等默认值位于 config/model_catalog.json 和 config/profiles.json,均可用 config/local.json 覆盖。

Claude 桌面端

Claude 桌面端跨窗口拖入的媒体不落盘。图片复制进剪贴板后调用 omnimodal_read_clipboard_image;视频和音频请用户保存为文件后提供明确路径。禁止扫描 Temp、按时间戳猜文件,或输出“很可能/可能是你刚粘贴的图片”。

命令行兜底

uv run --project <插件根目录> omnimodal-recognize --image <图片路径> --task "<任务>" --mode standard
uv run --project <插件根目录> omnimodal-recognize --video <视频路径> --task "<任务>" --mode standard
uv run --project <插件根目录> omnimodal-recognize --audio <音频路径> --task "<任务>" --mode standard

生成服务仅支持 stdio MCP 模式;异步任务超时后返回 task_id,可稍后查询。

04 同仓库更多 Skills

hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-review-with-annotations

Create, inspect, reply to, update, or resolve situated Worktable annotations. Use when feedback belongs to a Doc section, block, text range, or HTML Doc, or when the user asks to address existing review feedback and coordinate a requested artifact edit.

★ 1.6k
hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-find-and-synthesize-context

Find, assess, and synthesize context from Worktable Docs and Records. Use when the user asks what a workspace contains, wants workspace-backed research, needs current facts reconciled across artifacts, or requests a cited synthesis without changing workspace state.

★ 1.6k
hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-create-or-update-docs

Create, edit, rename, or maintain narrative Worktable Docs. Use for plans, decisions, briefs, notes, research syntheses, and other durable prose when the user requests a new artifact or a safe update to an existing one.

★ 1.6k
hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-create-or-manage-records

Organize repeated structured information as durable Worktable Records. Use for research datasets, inventories, directories, pipelines, trackers, and other collections whose items need identity, fields, filtering, links, validation, or individual updates.

★ 1.6k
hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-create-or-manage-interactive-html

Create or improve durable visual and interactive artifacts in Worktable. Use for dashboards, trackers, calculators, mini apps, slide presentations, and other requests that benefit from a polished HTML Doc.

★ 1.6k
hashgraph-online
hashgraph-online/awesome-codex-plugins

worktable-collaborate-threads

Read, answer, and hand off messages through durable Worktable threads with users or other authenticated participants. Use when the user asks to check addressed messages, reply to a participant, continue a thread, request another agent's help, wait briefly for a response, or watch for comments and messages sent to the agent.

★ 1.6k