ESPRESSIF · ESP-VISION 开源框架

几行 Python，
在 ESP32 上做
实时视觉 AI

采集、处理、推理与显示，全部在设备端完成。

立即烧录体验打开 Web IDE ↗

01低代码 / LOW CODE

低代码，更强大

相机、图像处理、端侧推理与硬件外设，均可通过 Python 调用。

OUTPUTESP32-P4

ESP-DL 量化模型逐帧推理视觉 AI

main.py17 行

import espdl
import sensor
import time

sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.skip_frames(time=1000)

det = espdl.ESPDet("/sdcard/hand_det.espdl", score=0.5, nms=0.7)
while True:
    img = sensor.snapshot()
    for x, y, w, h, score, category in det.detect(img):
        img.draw_rectangle(x, y, w, h, color=(255, 0, 0), thickness=2)
        img.draw_string(x, max(0, y - 12), "%.2f:%d" % (score, category))
    img.flush()
    time.sleep_ms(20)

02能力 / CAPABILITIES

复杂，留给底层

采集、处理、推理与控制，均在设备上完成。

API01

低代码 Python API

sensor · image · display · espdl 统一接口，几行 Python 即出实时效果；在线烧录、连上 Web IDE，无需搭建工具链。

AI02

端侧 ESP-DL 推理

目标检测、姿态估计、图像分类；量化 .espdl 模型一行加载，本地实时、离线运行，也可转入自有 PyTorch / TensorFlow 模型。

VLM03

云端视觉大模型

直传 OpenAI 兼容视觉 API，接入 GPT-4o 等多模态大模型，复杂场景理解无需本地算力。

IMG04

图像处理算法

绘制、滤波、颜色追踪、特征检测、二维码、条码、AprilTag。

CDC05

硬件编解码

H.264 / MJPEG / RTSP 与 USB CDC 实时预览，吃满片上多媒体加速。

IO06

丰富外设支持

摄像头、屏幕、SPI、I2C、UART、SD 卡等多样外设开箱即用，沿用 MicroPython machine 兼容 API。

03浏览器开发 / BROWSER-BASED

免安装，即刻上手

不用安装工具链。烧录、编写和运行，都在浏览器中完成。

BROWSER

一键烧录

浏览器直连开发板，完成官方固件烧录。

在线烧录 · Web Serial○ 未连接设备

加载固件清单…

IDE / VS CODE

编写与运行

在 Web IDE 或 VS Code 中编写脚本，实时查看采集与推理结果。

打开 Web IDE 下载 VS Code 插件

04MCP 接入 / CONNECT AI

有想法，AI 来编码

将 ESP-VISION MCP 接入 AI 助手，用对话开始端侧视觉开发。

服务器地址

https://esp-vision.espressif.com/mcp

自动安装

点击下方按钮，自动将此服务器添加到 Cursor。

添加到 Cursor →

手动配置 (mcp.json)

{
  "mcpServers": {
    "esp-vision-mcp": {
      "url": "https://esp-vision.espressif.com/mcp"
    }
  }
}

自动安装

点击下方按钮，自动将此服务器添加到 VS Code。

安装到 VS Code →

VS Code 配置

{
  "mcp": {
    "servers": {
      "esp-vision-mcp": {
        "type": "http",
        "url": "https://esp-vision.espressif.com/mcp"
      }
    }
  }
}

05模型 / MODELS

AI 模型，轻松调用

ESP-DL 与 TFLite Micro 模型放入设备，一行加载。

ESP-DL7 个模型

模型	任务	输入	数据集	大小
ESPDet Pico Cat ESPDet Pico · `espdl.ESPDet` Detects cats in camera images. cat	目标检测	224×224 RGB565	Cat	487 KB
ESPDet Pico Cat & Dog ESPDet Pico · `espdl.ESPDet` Detects cats and dogs in camera images. catdog	目标检测	224×224 RGB565	Cat & Dog↗	561 KB
ESPDet Pico Dog ESPDet Pico · `espdl.ESPDet` Detects dogs in camera images. dog	目标检测	224×224 RGB565	Dog	486 KB
ESPDet Pico Face ESPDet Pico · `espdl.ESPDet` Detects human faces in camera images. face	目标检测	224×224 RGB565	Face	484 KB
ESPDet Pico Hand ESPDet Pico · `espdl.ESPDet` Detects human hands in camera images. hand	目标检测	224×224 RGB565	Hand	486 KB
YOLO11n COCO YOLO11n · `espdl.YOLO11` Detects the 80 COCO object classes in camera images.	目标检测	160×160 RGB565	COCO	2.7 MB
YOLO11n-Pose COCO YOLO11n-Pose · `espdl.YOLO11nPose` Detects people and estimates 17 COCO body keypoints (human pose) in camera images. person	姿态估计	160×160 RGB565	COCO	3.0 MB

TFLite Micro2 个模型

模型	任务	输入	数据集	大小
Person Detection MobileNet · `tflite.Model` TensorFlow Lite Micro person-detection model: classifies whether a person is present in a 96x96 grayscale camera frame. no personperson	图像分类	96×96 GRAYSCALE	Visual Wake Words	294 KB
Sine MLP · `tflite.Model` TensorFlow Lite Micro "hello world" model: approximates sin(x) for x in [0, 2*pi] from a single scalar input.	回归	1 FLOAT32	Synthetic	2 KB

添加自定义模型 ↗

06硬件 / BOARDS

跨平台，多板支持

相机、显示和存储开箱即用，覆盖 ESP32-S31、ESP32-P4 与 ESP32-S3 系列。

开发板	芯片	ESP-VISION 支持情况
ESP32-P4X-EYE↗	ESP32-P4	支持 sensor · image · display · espdl · tflite · imageio · h264 · rtsp · barcode
ESP32-P4X-Function-EV-Board↗	ESP32-P4	支持 sensor · image · display · espdl · tflite · imageio · h264 · rtsp · barcode
ESP32-S3-EYE↗	ESP32-S3	支持 sensor · image · display · espdl · tflite · imageio
ESP32-S31-Korvo↗	ESP32-S31	支持仅 ESP-IDF master sensor · image · display · espdl · tflite · imageio