Stepfun Vision Skill
Codex Skill:让纯文本模型(DeepSeek)借助 StepFun step-3.7-flash 获得看图能力 | Give text-only Codex models (DeepSeek) image understanding via StepFun step-3.7-flash
jwangkun · 已有 AI 审核记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add jwangkun/stepfun-vision-skill技能说明
stepfun-vision-skill
给 纯文本主模型(如 Codex 接入的 DeepSeek deepseek-v4-flash) 外挂“看图”能力的 Codex Skill:
当主模型不支持图片输入时,把图片交给 StepFun step-3.7-flash(原生多模态推理模型) 转成文字描述,主模型再基于描述继续推理、写代码。
用户粘贴图片 / 本地图片 / 图片 URL
│
▼
scripts/describe-image.js(零依赖 Node.js)
1. 守卫:读 ~/.codex/config.toml,仅主模型为 deepseek-v4-* 时启用
2. --latest:从 Codex 会话文件恢复用户粘贴的图片(base64 重建)
3. 调 StepFun /v1/chat/completions(step-3.7-flash,OpenAI 兼容)
│
▼
文字描述 → 返回给主模型继续干活
项目简介 / About
为什么需要它? 很多人把 Codex 接到 DeepSeek(deepseek-v4-flash 等纯文本模型) 上使用——便宜、快、中文好,但这类模型不支持图片输入:粘贴截图会显示 image content omitted because you do not support image input,看不了 UI 稿、报错截图、图表和白板照片。
怎么解决? 本 Skill 把图片交给 StepFun step-3.7-flash(原生多模态推理模型,OpenAI 兼容接口)转成精准的文字描述,再让 DeepSeek 基于描述继续推理、写代码、排障。视觉模型只负责“看”和“转录”,结论仍由主模型得出——成本低、接入快、不挑主模型。
核心亮点:
- 粘贴即用:自动从 Codex 会话文件恢复你粘贴的图片(
--latest),无需手动保存 - 支持本地文件、图片 URL、多张图、带问题识别(OCR / 细节追问)
- 零依赖 Node.js;一键安装器自动把 key 写入
config.json,可选写入环境变量 - Provider 守卫:只在 DeepSeek 主模型下启用,避免误用浪费
- 推理模型适配:
reasoning_effort控制思考开销 +content/reasoning回退,保证必出结果
适用场景: UI/前端还原、报错截图排查、设计稿评审、图表/白板转数据、票据/文档 OCR、网页截图分析等。
English: stepfun-vision-skill adds image understanding to text-only coding models (e.g. DeepSeek
deepseek-v4-flashinside Codex) by relaying images to StepFun's natively multimodalstep-3.7-flashmodel. The vision model transcribes/describes the image into text; the main model then reasons on that text. Zero-dependency Node.js, one-command installer, DeepSeek-only provider guard, and--latestrecovery of pasted images from Codex session files.
本仓库是 deepseek-vision-skill(MIT)的 StepFun 适配版:换了默认接口/