AGENT SKILL
screen_elements
Analyse sémantique complète de l'écran — retourne tous les éléments UI interactifs, les apps en cours, la résolution et une vue structurée par rôle
使用场景Skill与智能体开发
- License 许可
- MIT
- 最近更新
- 2026-03-19
- Stars
- ★ 0
- Forks
- 1
01 前言 Front Matter
- name
- screen_elements
- tags
- [ "accessibility", "semantic", "screen", "computer-use", "ui", "perception" ]
- version
- 1.0.0
- description
- Analyse sémantique complète de l'écran — retourne tous les éléments UI interactifs, les apps en cours, la résolution et une vue structurée par rôle
02 资源文件 3
- 脚本index.js34 B
- 参考文档manifest.json280 B
- 脚本skill.js1012 B
03 SKILL.md 正文
screen_elements
Vue d'ensemble sémantique de l'écran actuel. Combine :
- AX tree de l'app de premier plan
- Infos système (résolution, apps actives)
- Groupement par rôle (buttons, text_fields, etc.)
Params
app(string, optionnel) : app à analyser. Défaut: app de premier plan
Retour
{
"success": true,
"frontmost_app": "Safari",
"elements_count": 12,
"elements_by_role": { "button": ["Envoyer", "Annuler"], "text_field": ["Recherche"] },
"interactive": [...]
}
04 同仓库更多 Skills
wait_for_element
Attend qu'un élément UI apparaisse sur l'écran (polling AX tree) avec timeout configurable — utile après navigation ou chargement
★ 0
type_text
Tape du texte dans le champ actif via AppleScript
★ 0
take_screenshot
Prend une capture d'écran de l'écran macOS et retourne le chemin
★ 0
smart_click
Clique sur un élément UI par description sémantique (ex:"cliquer sur Envoyer") — trouve l'élément dans l'arbre AX puis clique sans coordonnées fixes
★ 0
run_command
Exécute une commande shell sûre (ls, cat, git, npm, node, python3, curl)
★ 0
press_key
Appuie sur une touche clavier (Return, Space, Tab, Escape, etc.)
★ 0