|
|
项目起源：
初先生的聊天记录：
你那边掌握的技术，有办法做一个有摄像头的，墨者机器人吗？
我之前不是和一个耳机厂商做测评吗
然后，我有个想法。。。就是让摄像头+机器人+蓝牙耳机，组合起来。变成一个便携的可视化语音AI耳机。
就很有未来感的那种
人工智能是通过蓝牙，链接手机的
这样就大部分时间不需要用手去控制手机，或者查看了
就是用耳机，进行一问一答就可以
那在我玩游戏的时候，就可以通过摄像头，实时把画面调用传输给到AI。
然后通过耳机，把我的需求告诉AI让AI辅助战斗。
比如玩三角洲的时候，AI看到我的枪，我就可以要求AI，针对我目前的游戏场景，给我合适的装备配置建议。
玩暗黑破坏神的时候，调用我的天赋图，就告诉我最佳的加点配置。
玩CS GO的时候，可以伴我实时查询，我开到的武器，目前的最新售价
带着耳机，去超市的时候，可以直接帮我查看我要购买的产品的产地，成分，和比价格。
带着耳机送外面的时候，可以试试帮我看路况和导航
这个我之前查了一下，需要用刷硬件，定期更新最新版本,有点像本地部署
其实主要不是看。是语音交互，信息接收分析
需要在耳机里面，额外加一片AI芯片,先实现基本功能
其实，就是要想办法，做两个事情。
1、AI模型训练（小模型）。
2、3个模块，想办法组合在一起。
3、最后才是外观设计优化。
电话，还有GPS，老人防丢，还有防止未成年人被拐骗，这些是拓展功能
实现AI平权
硬件支持：
「小智 AI (XiaoZhi AI)」 是由 中国公司 深圳十方融海科技有限公司（Ten-Fang Ronghai Technology / 异名「十方融海」） 发起 / 推出的开源人工智能语音对话项目，该项目 “面向开发者与技术极客”，主打 “语音对话 + 开源硬件 / 开发板 + 大模型接入 + IoT／物联网 + 多模态交互” 等功能
有媒体报导也提到：十方融海原本是做在线教育（职业技能培训 + 声音培训品牌「梨花教育」），他们训练自有大模型主要是为了其 AI 教育业务。随着发展，这才衍生出「小智 AI」这一硬件＋语音助手项目。
据报道，小智 AI 项目本身是“开源 + 面向开发者 / 极客”的 — 换句话说，它并不一定是一个由大厂大规模商业化运营的“封闭 AI 服务”。
有媒体说，“小智 AI 团队并不生产硬件”。
也就是说，很多「小智 AI 语音盒子 / 设备」可能是由第三方开发者 / DIY 爱好者 /商家制作，并非公司自己制造。
另一方面，因为它“开源 + 可对接多种大模型 (如通义 Qwen, DeepSeek, Doubao…)” —— 所以「小智 AI」本身不是某一家大公司自研的大模型，而像是一个 平台 / 框架 /生态，帮助把大模型 + 语音 / 硬件 + IoT 集成起来。
因此，「小智 AI」并不是来自像 Google、OpenAI、华为这样的大企业，而是来自一家较小、以前做教育与培训背景的公司
华硕立体作战耳机
收到货后插入屏幕，用手机或电脑连小智wifi（拼音开头），按视频教程配网即可。注意用标准5V1A插头，初始连右边Typec口，浏览器登192.168.4.1完成设置～📦
ESP32-S3-N16RE 的含义
ESP32-S3 是型号，后面的 N16R E 含义如下：
字段 含义
N16 16MB（兆字节）SPI Flash
R 2MB（兆字节）PSRAM（内置或外挂的，供 AI/图像/高速缓存使用）
E 具有 USB 设备/Host 功能（USB OTG）
🔥 所以 ESP32-S3-N16RE = ESP32-S3 + 16MB Flash + 2MB PSRAM + 支持 USB 功能的版本
ESP32-S3 芯片特点（适用于 N16RE 等全部版本）
功能 描述
CPU 双核 Xtensa LX7，240MHz
AI 加速 支持 AI 指令集（向量计算），轻量神经网络推理
无线 2.4GHz WiFi + Bluetooth 5.0 LE（支持长距离模式）
USB 内置 USB OTG，支持 USB-CDC、U 盘、HID 等
IO 45 个 GPIO，多达 14 个 ADC 通道，SPI/I2C/UART 多接口
安全 安全启动、Flash 加密
N16RE 常见用途
由于带 大容量 Flash + PSRAM，适合：
AI 手势识别
人脸检测（轻量模型）
大屏 UI（LVGL）
USB 设备（键盘、HID 手柄、自定义 USB 设备）
高级 IoT 项目
音频处理（语音指令、FFT）
摄像头项目（支持 OV2640/OV5640）
这个套件是虾哥小智AI对话聊天机器人套件（基于ESP32-S3-CAM），核心结构和组件可以分为主控板+功能模块+配件三部分，具体介绍如下：
一、核心主控板：ESP32-S3-CAM（带OV3660摄像头）
这是套件的核心硬件，板载ESP32-S3R8芯片（双核240MHz处理器），搭配16MB Flash + 8MB PSRAM，支持Wi-Fi和蓝牙5.0。
主要集成功能：
- 摄像头模块：OV3660传感器（200万像素，160°广角，支持红外夜视+补光灯）；
- 音频接口：支持I2S PDM麦克风（采集语音）、MAX98357音频功放（驱动扬声器）；
- 扩展接口：Type-C接口（供电/烧录）、GPIO引脚、SD卡槽（存储数据）；
- 辅助元件：板载LED灯、复位/BOOT按键、环境光传感器（ALS）。
二、功能模块
套件包含的独立模块：
1. 1.54寸液晶屏：通常是SPI接口的彩色屏（如ST7789驱动），用于显示对话内容、状态信息；
2. INMP441麦克风：数字MEMS麦克风，通过I2S接口采集语音，用于语音唤醒、识别；
3. MAX98357音频模块：I2S功放芯片，驱动扬声器实现语音输出（如AI对话的TTS语音）；
4. 扬声器：8Ω/2-3W喇叭，配合功放模块播放声音。
三、配件
- USB线：Type-C接口，用于给主控板供电、烧录固件；
- 杜邦线/140跳线盒装：用于连接主控板与各模块（如屏幕、麦克风）；
- 面包板400孔：用于临时搭建电路，方便模块之间的接线测试。
USB 与 UART 的真正区别，UART = GPIO 上的数字串口外设，USB = 片内集成 USB 2.0 设备控制器 + PHY（模拟电路），ESP32-S3 内置真正的 USB 控制器和 PHY。
核心用途
这套硬件主要用于搭建AI语音/视觉交互机器人，支持：
- 语音唤醒、语音识别、AI对话（对接DeepSeek/豆包等大模型）；
- 摄像头图像采集（如物体识别、监控）；
- 屏幕显示交互内容、传感器数据等。
更详细资料：https://ai.feishu.cn/wiki/EH6wwrgvNiU7aykr7HgclP09nCh
软件系统
进入小智AI的官网：https://xiaozhi.me/
小智的mcp功能
“小智 AI 的 MCP 功能” (MCP) 确实是它系统中的一个比较重要 / 核心机制。我查阅了公开资料，下面详细解释 “什么是 MCP / 小智 的 MCP 功能 / 它能做什么”。
🔧 什么是 MCP
MCP 全称是 Model Context Protocol（模型上下文协议）。
对于小智 (XiaoZhi AI) 而言，MCP 是系统里面专门用来让“大语言模型 / AI agent” 与 外部工具 (tools)、设备 (device)、IoT、第三方服务 等交互、调用功能的 标准化协议。
换句话说，MCP 就类似一个 “桥 / 接口 / 中间件协议”，让 AI 不仅能够“聊天 / 推理 /对话”，还能 “控制设备 / 调用工具 / 执行外部任务 / 与物联网 (IoT) 设备交互 / 调用 API / 执行脚本 / 访问数据库 / ...” — 功能远超普通对话模型。
✅ 小智 AI 的 MCP 功能 — 它具体能做什么
根据小智官方文档／社区文档，MCP 在小智系统下支持以下核心功能 (core functions)：
设备控制 (Device control)：可以控制智能家居设备，比如灯光、空调、电器等。
传感器 / 物联网 (IoT) 集成：可以连接温湿度、光照、空气质量等传感器，并读取 / 使用它们的数据。
场景自动化 / 联动 (Scene automation)：支持根据条件触发自动化场景，比如 “当温度高于 X，自动开启空调 + 降低灯光亮度”。
语音／自然语言控制设备：用户用自然语言对话 (例如“打开客厅灯”)，背后通过 MCP 将命令转换为设备控制调用。
工具 (Tool) 动态注册和调用：MCP 允许“工具 (tool)”被注册 (tool registration)、发现 (tool discovery)、调用 (tool call)、异步执行 (asynchronous calls)，并返回结果 (callback) 或状态。
扩展能力：第三方服务 / 自定义功能 — 不仅限于小智官方设备／工具。如果别人编写了符合 MCP 协议的工具 (MCP server)，小智就能调用它。也就是说，你可以自定义工具 (例如：计算器、查询数据库 API、网络请求、控制硬件…)，让小智执行。
很多社区 / 文档把 MCP 描述成 “让大模型 / AI agent 能够调用外部功能 (tools) 的标准接口 / 协议”。有的人甚至把它比作 AI 生态系统的 “USB-C / 插件接口 / App Store 接口” —— 意味着你可以为小智 “加载功能模块 / 工具 / 服务”，从而极大扩展它的能力。
🧩 MCP 的协议与机制 (技术细节)
MCP 基于 JSON-RPC 2.0 作为通信协议。也就是说，调用工具 / 发起命令 / 返回结果，都通过标准化 JSON-RPC 消息格式。
支持 工具注册 (tool registration) 与 动态发现 (discovery) — 当设备或服务启动时，它会向小智后台注册自己的可调用工具 (tools) 列表；小智后台则可以查询 (tools/list) 得到哪些工具是可用的。
支持 异步调用 + 回调机制 — 这意味着调用工具后，小智不需要同步阻塞等待，它可以异步发起调用，等工具执行完成后再回调结果。
支持 错误处理 / 重试机制 — 如果工具调用失败 (例如设备离线、网络断)，MCP 协议定义如何反馈错误，以及可选的重试 / fallback 策略。
🎯 为什么这个功能很重要 / 有意义
它把不仅仅是 “语言 + 对话 + 推理” 的 AI，转变为 “Agent + 工具 + 物联网 + 自动化执行能力” 的系统。
通过 MCP，小智变成了一个 “智能中枢 / Agent 框架”：你可以给它各种能力 (tools)，它就能 “听懂 + 决策 + 执行”。
对于开发者 / 爱好者 / DIY 用户 (像你!) 来说，可以 扩展 / 定制 功能 — 比如让小智控制你自己的硬件 (ESP32, IoT 设备)、调用 API、读取传感器、管理家居、做自动化脚本、甚至做复杂计算、数据库查询等。
这给了小智非常 灵活 / 模块化 / 扩展性强 的能力。不是封闭、固定功能，而是开放、可扩展。
🎬 举个例子说明 MCP 的作用
假设你有：
一个智能灯 (支持通过网络 / Wi-Fi 控制开/关)
一个温湿度传感器 (比如测室温 / 湿度)
一个智能空调
你用小智，对它说一句：
“小智，把客厅灯打开，然后如果温度超过 28°C，就自动开空调到 24°C。”
在传统的 “语言模型 + prompt” 系统里，AI 可能只能 “告诉你这样做应该怎么做 / 给你建议”。
但有了 MCP，流程是：
小智 (LLM + agent) 理解你的自然语言 → 判定这是一个 “控制 + 条件自动化” 请求
通过 MCP 协议，调用 “灯 控制 工具 / 空调 控制 工具 / 传感器 工具”
系统实际控制灯 / 空调 / 读传感器，并可能持续监控 → 达成你的指令
你得到的是 真实执行，而不仅是 “建议 / 文字输出”。
✅ 总结
小智的 MCP 功能 是其系统中使 AI 不仅能 “对话 + 推理 + 生成文字 / 语音” 的机制，而是 让 AI 能调用外部工具 / 控制硬件 / 与 IoT / 第三方服务交互 / 执行命令 / 动态扩展功能 的 标准协议与框架。
MCP 基于 JSON-RPC、支持工具注册 / 异步调用 / 错误处理 / 扩展，兼容 IoT、智能家居、设备控制、API 调用、脚本执行等多种场景。
对开发者 / 高级用户 / DIY 者来说，它是一个非常强大、可扩展、开放的能力 —— 不再局限于“对话型 AI”，而是变成“可编程 / 可扩展 / 可操作的 AI Agent + IoT + 工具平台”。
如何编译和写入固件
|
|
楼主
