让单模态模型
看懂图片与视频

功能

4 个 MCP 工具

遵循 Model Context Protocol 标准，按输入形态划分，把 prompt 控制权交给基座模型。

核心特性

• 多轮迭代识别 — 基座模型可多次调用，边干边查，逐步精修对图片/视频的理解（详见下方）
• 本地 stdio 部署 — 走本地进程间通信，不依赖外部服务器，npx 一行启动
• 多 provider 架构 — VisionProvider 接口，首版支持 OpenAI，可扩展 Qwen / Kimi
• 任意 provider 自配 — 接任何实现了 OpenAI Responses API 的网关，不绑定单一模型厂商
• 零硬编码配置 — 全部配置走环境变量，代码内零硬编码
• 自动识别输入形态 — URL / 本地路径 / base64 三种形态兼容，适配不同 Agent 的传图方式

核心特色

多轮迭代识别

这是 picsense 最核心的差异化点——市面上几乎所有图片识别 MCP 都是一次性的，但一次性的视觉描述往往不够详细或不够准确。

使用方法

接入 AI 客户端

需要 Node.js ≥ 20。无需克隆仓库，npx 一行启动，配置一次永久生效。

1. 配置 AI 客户端

在你的 AI 客户端（ZCode / Claude Desktop / Cursor / 其他 MCP 客户端）的配置文件中加入。需提供自己的多模态模型 API Key（默认用 OpenAI Responses API）：

{
  "mcpServers": {
    "picsense": {
      "command": "npx",
      "args": ["-y", "@honlnk/picsense"],
      "env": {
        "DEFAULT_PROVIDER": "openai",
        "OPENAI_API_KEY": "sk-xxx",
        "OPENAI_MODEL": "gpt-5.6-sol"
      }
    }
  }
}

{
  "mcpServers": {
    "picsense": {
      "command": "cmd",
      "args": ["/c", "npx", "-y", "@honlnk/picsense"],
      "env": {
        "DEFAULT_PROVIDER": "openai",
        "OPENAI_API_KEY": "sk-xxx",
        "OPENAI_MODEL": "gpt-5.6-sol"
      }
    }
  }
}

2. 验证

配置完成后，在 AI 客户端里粘贴一张图片提问，例如「描述这张 UI 截图的布局」。基座模型会自动调用 analyze_images 工具识别并返回描述。

使用示例

单图识别

analyze_images({
  image_sources: ["https://example.com/screenshot.png"],
  prompt: "描述这张 UI 截图的整体布局"
})

多轮迭代——细化局部

// 第 2 轮（复用上一轮返回的 session_id）
analyze_images({
  session_id: "<上一轮返回的 session_id>",
  prompt: "重点描述导航栏的样式，包括颜色、间距、字体"
})

视频识别

analyze_video({
  video_source: "https://example.com/demo.mp4",
  prompt: "描述这段视频的内容和关键画面"
})

配置

环境变量

全部配置走环境变量，代码内零硬编码。在 MCP 配置的 env 字段里传入。

* 默认 provider 的 Key/Model 必填；其他 provider 仅在切换使用时才需要。

视频识别的 ffmpeg 依赖

analyze_video 需要 ffmpeg。安装时自动下载内置的 ffmpeg-static 二进制；若下载失败（如 --ignore-scripts、企业内网代理），会自动 fallback 到系统 ffmpeg：

# macOS
brew install ffmpeg
# Debian / Ubuntu
apt install ffmpeg