2026/8/30 21:35:41
FEATURED · 精选文章 
这次我们来看一个非常有意思的嵌入式 AI 项目Brainscope 的 examples/ESP32 示例。简单说它是一个让 ESP32 微控制器跑一个极小型 LLM然后把模型推理过程实时可视化出来的开源示例。你可以在浏览器里看到单片机里的“大模型”每一步怎么选词、概率如何变化、当前在“想”什么。这类项目最亮眼的地方不是模型能力而是把 LLM 内部状态真正“拆开”给人看。过去我们调 LLM通常只知道输入和输出很难感知模型在解码时的概率分布变化。Brainscope 的 ESP32 示例把这件事落到了开发板上非常适合嵌入式开发者、AI 入门者、以及想理解 LLM 推理过程的同学。本文会带大家完整梳理这个示例的硬件要求、环境搭建、烧录流程、可视化界面观察方式以及常见问题和性能观察方法。1. 核心能力速览先给一张速览表方便快速判断这个示例值不值得折腾。能力项说明项目类型ESP32 嵌入式示例结合微型 LLM 推理与 Brainscope 可视化调试工具核心功能在 ESP32 上运行微型语言模型并通过可视化面板观察模型每一步的 Token 概率分布与生成过程推荐硬件ESP32-S3 系列建议选择带大容量 PSRAM 的型号例如 N16R88MB PSRAM或 N32R8对普通 ESP32 的支持经典 ESP32 也能编译运行部分示例但 RAM 和 PSRAM 较小需按实际模型文件评估容易编译通过但运行时内存溢出主要依赖Arduino IDE ESP32 开发板包或 PlatformIO以及 Brainscope 工具链启动方式先编译烧录固件到 ESP32再在浏览器打开可视化面板需要保持设备通过串口或 WiFi 连接是否支持 API 接口示例本身不提供通用 REST API更偏向实时观测具体是否具备可编程接口需以仓库内示例代码为准是否支持批量任务不适用于传统批量任务更合适的理解是持续观察多轮生成或连续 Token 决策适合场景学习 LLM 解码过程、嵌入式 AI 可视化教学、边缘端模型推理调试、创客项目展示使用门槛中等需要一点 Arduino 开发基础不需要服务器级 GPU这个示例把一个 8 位单片机变成“可观察的 LLM 大脑”对理解自回归语言模型有很大帮助。最有价值的点在于它把模型推理过程从黑盒变成白盒。2. 这个示例解决什么问题边缘端 LLM 可视化调试在写环境准备之前先理解项目定位非常有帮助。Brainscope 这个名字拆开来就是 “Brain” “Scope”可以理解为“大脑示波器”。它关注的是 LLM 内部状态而不是模型最终输出的文本。在 PC 上跑大模型我们可以通过 OpenAI 兼容接口、LangChain 回调、TensorBoard 等方式记录日志但都很难实时看到模型每一步在候选词上的概率分布。Brainscope 做的事情就是把这种“内部状态观测”下沉到嵌入式设备上。ESP32 算力有限跑不了 7B 模型但示例通过量化极小型语言模型可以在单片机级别完成前向推理。同时通过可视化面板你可以清楚看到模型正在处理第几个 Token。当前候选 Token 列表以及概率排序。模型最终选择了哪个 Token。温度、Top-K、Top-P 等采样参数如何影响选择结果。生成整段文本时的“犹豫”过程。这种可视化调试对理解采样参数带来的影响极其直观。比如把温度调高你能看到概率分布变平模型开始“乱选”温度调低概率分布更尖锐输出更保守。这些在 PC 大模型上也能调但看不见分布变化感知不强。在 ESP32 示例里效果是实时呈现的非常适合教学演示和科普。同时这个示例也给嵌入式 AI 提供了一种调试范式在资源受限设备上跑模型如果输出不稳定过去只能加日志现在可以通过可视化方式观察内部状态定位问题效率高很多。3. 环境准备与硬件选型3.1 硬件要求从项目示例的定位来看它基于 ESP32 平台。考虑到 LLM 推理主要吃 RAM 和 PSRAM所以硬件选型建议如下硬件建议说明开发板ESP32-S3-DevKitC-1 或任意 ESP32-S3 开发板S3 系列主频更高支持更大 PSRAM推荐型号ESP32-S3 N16R816MB Flash 8MB PSRAM8MB PSRAM 对微型 LLM 推理更从容备选ESP32-S3 N8R2、ESP32-S3 N32R8R22MB PSRAM偏小可能需要进一步裁剪模型N32 适合后续扩展普通 ESP32可尝试但需关注编译内存和运行稳定性经典 ESP32 的 PSRAM 版本可用但总体资源偏紧显示屏可选不必须如果示例内置屏幕渲染逻辑则需要参考仓库示例配置数据线高质量 USB 数据线部分数据线只供电不能传数据会导致烧录失败这里要特别强调不要随便拿一个 ESP32-DevKitC V4 就以为一定能跑。最小模型方案虽然可以做但 LLM 推理需要相对大的连续内存区PSRAM 小于 2MB 的设备很容易在运行时崩。3.2 软件环境软件层面必须准备以下内容软件用途版本建议Arduino IDE编译和烧录示例代码推荐 2.x 版本及以上界面更现代依赖管理更方便ESP32 Arduino 开发板包提供 ESP32-S3 编译工具链和核心库最新稳定版或使用离线安装包Brainscope 示例工程项目源码按仓库 README 拉取浏览器打开可视化面板Chrome / Edge 均可如果是国内网络环境Arduino 开发板管理器下载 esp32 包可能比较慢或失败常见做法是配置开发板管理器地址。通过离线安装包直接安装 esp32 包。开发板地址一般为https://espressif.github.io/arduino-esp32/package_esp32_index.json在 Arduino IDE 的“文件 - 首选项 - 附加开发板管理器网址”中添加该地址然后在“开发板管理器”中搜索 esp32 并安装。如果下载失败建议直接搜索“esp32 离线安装包”按照对应 Arduino IDE 版本下载离线压缩包手动放入 Arduino 的 hardware 目录解压这也是社区里最常用的降级方案。3.3 磁盘与端口ESP32 示例编译通常只需要几百 MB 磁盘空间不需要 GPU不需要 CUDA。端口方面主要注意烧录时选择正确的 COM 口。可视化面板一般基于串口或 WiFi 通信需避免端口被其他串口监视器占用。如果使用蓝牙进行数据传输则需要留意 ESP32 经典蓝牙与 BLE 的配置差异。4. 编译烧录 Brainscope ESP32 示例4.1 拉取工程代码先把示例工程拉取到本地。通用流程如下git clone https://github.com/Brainscope/brainscope.git cd brainscope/examples/esp32具体路径以实际仓库为准。拉取后建议先阅读项目 README确认示例目录里是否包含模型文件、是否需要单独下载模型权重。4.2 配置开发板打开 Arduino IDE选择开发板为 ESP32S3 Dev Module。进入“工具”菜单按以下建议配置配置项推荐值说明BoardESP32S3 Dev Module选择对应芯片型号USB CDC On BootEnabled方便通过 USB 查看日志CPU Frequency240MHz除非示例要求否则保持最高主频Flash Size16MB对应 N16R8 开发板PSRAMOPI PSRAM8MB PSRAM 通常选择此项Partition Scheme根据示例要求选择如果模型文件较大选择 Huge APP 或自定义分区这里特别提醒Partition Scheme 如果不匹配编译出来的固件可能超出分区大小导致烧录后无法启动或者模型数据无法写入。如果示例文档指定了分区表一定要改。4.3 安装依赖库在编译之前需要安装示例依赖的 Arduino 库。通用方式是在 Arduino IDE 的“库管理器”中搜索安装。常见的依赖可能包括WebServer 相关库如果示例通过 WiFi 提供网页面板。ArduinoJson用于生成 JSON 格式的状态数据。模型推理库示例自带或依赖特定推理引擎。如果示例目录下有libraries文件夹或platformio.ini也可以直接使用 PlatformIO 方式构建依赖管理会更省心。PlatformIO 示例配置示例如下[env:esp32-s3-devkitm-1] platform espressif32 board esp32-s3-devkitm-1 framework arduino monitor_speed 115200 board_build.flash_size 16MB board_build.psram_type opi4.4 编译和烧录在 Arduino IDE 中点击编译首次编译会下载工具链时间会比较长。编译成功后选择正确的 COM 口然后点击烧录。烧录过程中如果遇到连接失败尝试按住开发板上的 BOOT 键再点击烧录很多 ESP32-S3 开发板需要手动进入下载模式。烧录常见报错示例报错内容处理方式A fatal error occurred: Failed to connect to ESP32-S3按住 Boot 键重试检查数据线是否支持数据传输Serial port COMx not found检查驱动是否安装更换 USB 口Chip is ESP32-S3, wrong chip开发板型号选错重新选择 ESP32S3 Dev ModuleFlash write timeout降低波特率重试或者检查供电不足烧录完成后打开串口监视器波特率一般设置为 115200观察设备是否正常打印日志。5. 启动可视化在浏览器里观察 LLM“思考”5.1 启动方式根据示例的通信方式一般会有两种启动路径串口模式ESP32 通过 USB 串口把 Token 概率数据发送到电脑电脑端 Brainscope 面板接收并绘制。WiFi 模式ESP32 连接局域网浏览器直接访问开发板提供的网页实时绘制概率分布。如果示例默认使用 WiFi则需要在代码里配置 WiFi SSID 和密码。示例代码中通常会有类似这样的部分const char* ssid your_wifi_ssid; const char* password your_wifi_password;修改后重新编译烧录然后在串口日志中查看分配给开发板的 IP 地址。浏览器打开该 IP 地址即可看到可视化面板。如果默认走串口通信则需要在电脑端启动 Brainscope 的面板程序。具体启动命令以项目 README 为准但常见 Node.js 面板的启动方式是cd panel npm install npm start启动后浏览器访问http://127.0.0.1:3000或http://localhost:3000具体端口以实际项目配置为准。5.2 面板上能看什么启动后面板通常展示以下信息当前生成文本逐字显示 LLM 已经生成的 Token 内容。Token 概率分布每个候选 Token 的概率柱状图。采样参数温度、Top-K、Top-P 的实时数值。生成状态正在推理、采样、输出等。模型信息当前加载的模型名称、上下文长度等。这个过程非常有趣。你可以在输入框给一个开头比如“Once upon a time”然后看着开发板上的微型 LLM 一个一个 Token 地生成后面的故事。每一个 Token 的选择过程都变成可视化的概率条你能清楚看到模型在“the”和“a”之间可能产生微小犹豫也能看到低概率 Token 被采样选中时模型输出的“跳跃感”。5.3 判断可视化是否正常的标准判断这个示例是否跑通可以通过三条标准面板能够打开并且能收到 ESP32 上传的数据。输入提示词后生成区开始逐字输出文本。概率分布图随着每一步生成而刷新。如果面板打不开优先检查串口占用、WiFi 连接、防火墙设置如果面板能开但没有数据检查串口波特率是否匹配WiFi 设备是否在同一个局域网。6. 功能测试与效果观察6.1 不同提示词测试建议准备一组测试提示词观察模型在指令型、开放型、重复型输入下的表现。测试类型输入示例观察重点开放续写The future of AI isToken 概率分布是否平滑、连贯简单问答What is ESP32?微型模型是否给出合理回答重复模式hello hello hello模型是否开始重复概率分布是否塌缩中文输入今天天气模型是否支持中文词表中文 Token 概率分布情况符号输入10 5 看数值推理稳定性一般微型模型较弱这个用例的设计思路是通过不同输入形态观察模型在不同语境下的概率选择。如果模型在开放式续写中表现不错但数值推理完全失败这说明模型能力和关注点所在。6.2 采样参数调节测试采样参数是可视化中非常值得调整的变量。在面板中如果可以调节尝试三组参数对比场景温度Top-K预期表现保守模式0.210输出稳定但可能重复默认模式0.750平衡表达视觉效果最好发散模式1.4100输出跳跃概率分布明显变平每次调整后再看概率柱状图的变化。温度调高后原本几乎为零概率的奇怪 Token 会被点亮这就是温度对分布拉平作用的直观演示。这种观察比在 PC 上跑大模型再打印 log 直观得多。6.3 显式观察 Token 选择过程LLM 的本质是词汇表上的概率分布采样。Brainscope 面板把概率排序可视化之后可以做几个很有意思的观察看第一个 Token 的选择同样的开头是不是每次生成不一样。看高概率 Token 和最终选择 Token 是否一致。看低概率 Token 何时被选中一般发生在温度较高时。看上下文如何改变分布同一个前缀后面跟不同上文概率条变化明显。这些观察对理解 LLM 的“随机性”非常有帮助。很多人以为 LLM 每次输出不同是因为“模型不固定”实际上模型参数是固定的变化来自采样过程。通过可视化概率分布你能真正看到这种采样随机性。6.4 长文本与连续生成微型 LLM 的上下文窗口一般比较有限可以尝试长时间连续生成观察生成到多少 Token 后开始重复。上下文窗口满了之后模型如何“遗忘”早期内容。面板是否出现明显卡顿或数据延迟。开发板温度和稳定性。如果出现面板卡顿优先怀疑串口数据量过大或者浏览器渲染性能不够降低刷新频率或者缩短上下文可以明显改善。7. 资源占用与性能观察7.1 内存占用观察方法ESP32 上的内存分几种Flash存放固件和模型文件。SRAM运行时的程序变量。PSRAM扩展内存主要用于模型权重和中间激活值。编译时Arduino IDE 会输出 Flash 和内存占用情况这是第一步观察。示例启动后还可以在串口日志中看到剩余堆内存、最大可分配块等信息。推荐在代码中定期打印内存状态Serial.printf(Free heap: %d\n, ESP.getFreeHeap()); Serial.printf(Free PSRAM: %d\n, ESP.getFreePsram()); Serial.printf(Largest free block: %d\n, heap_caps_get_largest_free_block(MALLOC_CAP_8BIT));这样可以看到模型推理过程中内存的变化情况。如果 Free heap 持续下降说明存在内存泄漏需要检查推理代码是否反复申请内存但没有释放。7.2 CPU 与推理速度LLM 推理在 ESP32-S3 上属于重负载任务。240MHz 双核 MCU 跑微型模型每个 Token 的生成时间可能是几十毫秒到几百毫秒级别。实际速度取决于模型大小、量化精度、上下文长度和 CPU 频率。建议在实际测试中记录“每秒生成 Token 数”指标。如果太慢可以考虑降低模型参数量或量化位数。缩短上下文长度。关闭其他占 CPU 的任务。把双核任务分配调整成推理线程绑定到专用核心。如果示例支持选择模型文件优先尝试更小的量化模型先把流程跑通再逐步升级模型大小。7.3 降低资源占用的通用策略策略说明使用量化模型把浮点权重量化为 int8 或 int4可以大幅降低 PSRAM 占用减少上下文长度控制输入 Token 数量降低激活内存关闭日志输出在推理循环中减少串口打印降低 CPU 消耗降低刷新率面板端降低数据刷新频率减少上传带宽占用升级 PSRAM如果开发板支持选择 8MB 或更大 PSRAM 版本裁剪词表如果示例支持减小词汇表可以降低输出层内存和计算量7.4 功耗与散热ESP32 在高负载 LLM 推理时芯片功耗会明显上升但一般不会过热。如果要长时间运行建议避免把开发板放在封闭塑料盒中。使用外部供电代替 USB 供电确保电流稳定。在串口日志中持续监控芯片温度。Serial.printf(Temperature: %f\n, temperatureRead());温度持续超过 80 摄氏度时需要检查供电和散热。8. 常见问题与排查方法8.1 编译相关问题现象可能原因排查方式解决方案编译报错找不到esp_llm.h依赖库未安装检查库管理器安装情况安装示例要求的推理库编译报错 Flash 分区不够Partition Scheme 设置过小查看编译日志中的分区表切换到 Huge APP 分区或自定义分区编译报错内存不足模型文件过大或配置过高查看编译输出中的内存统计更换更小模型减少上下文下载 esp32 包失败网络问题检查下载日志使用离线安装包重复定义错误示例库和已装库冲突查看具体报错文件卸载冲突库或修改库搜索顺序8.2 烧录相关问题现象可能原因排查方式解决方案无法连接开发板驱动未装或数据线仅供电查看设备管理器更换数据线安装驱动烧录卡在等待开机同步未进入下载模式按住 Boot 键重试手动进入下载模式烧录后无串口日志波特率不对尝试 115200 或开发板默认速率修改串口监视器波特率串口日志乱码波特率不匹配检查代码和监视器波特率统一波特率8.3 运行与可视化相关问题现象可能原因排查方式解决方案面板打不开WiFi 未连接或端口错误查看串口日志中的 IP 和端口重新配置 WiFi检查防火墙面板能开但无数据串口被占用或协议不匹配关闭其他串口监视器释放串口重启面板程序生成文本全是乱码模型词表和文本编码不匹配查看面板日志更换匹配的模型文件运行一段时间后卡死内存泄漏或任务栈溢出查看崩溃日志和堆内存增加任务栈大小修复泄漏概率分布不刷新面板线程阻塞或数据格式错误检查 ESP32 串口输出查看数据帧是否符合预期设备发热但不工作电源供电不足测量电流更换稳定外部电源8.4 模型相关问题现象可能原因排查方式解决方案模型输出质量差模型参数量太小观察概率分布是否符合预期换更大模型调整提示词中文支持差词表中中文 Token 覆盖不足查看词表文件换中文模型或接受英文为主上下文过短示例配置限制查看配置参数有条件时扩大上下文长度推理太慢模型大、频率低记录生成耗时量化模型、提升主频9. 最佳实践与使用边界9.1 工程实践建议如果是想把这个示例稳定跑起来并且后续做二次开发建议遵循以下流程第一次烧录使用默认配置不要修改任何参数确认环境 OK。跑通后备份一份能运行的完整工程包括库版本、开发板配置、分区表配置。模型文件、代码、可视化面板分目录管理不要全都堆在下载文件夹。每次修改代码前记录修改点方便回退。使用 Git 管理自己的改动不要直接改原始 examples 目录。如果后续想扩展到自己的嵌入式 AI 项目可以先在 ESP32-S3 上跑通一个最小模型再逐步加功能。Brainscope 的价值不只是看演示更重要的是它给出了一个“嵌入式模型内部状态观测”的参考实现可以复用它的可视化面板来调试自己部署的模型。9.2 适合与不适合的场景适合想理解 LLM Token 采样过程的人。做边缘端 AI 演示项目的创客。嵌入式开发中需要观察模型状态的人。教学场景中讲解自回归模型原理的老师。不适合想把 ESP32 当生产级 LLM 服务器用的人。需要高精度中文文本生成的人。想跑大模型量化版的人8MB PSRAM 跑大模型不现实。完全没有 Arduino 基础也不愿意折腾环境的人。9.3 版权与使用边界使用这个示例时需要注意几个基本边界模型权重如果来自第三方仓库需要确认开源协议是否允许商用、修改和重新分发。如果模型是在别人的预训练权重基础上微调出来的需要保留原项目版权声明。示例代码如果采用开源协议二次开发后发布时需要遵守对应协议。如果你的应用要把生成内容用于公开场景请审核模型输出微型 LLM 生成内容质量有限可能出现有害或不合适的内容。从安全边界来说这个项目本质是本地推理不涉及云端数据回传但如果示例代码里包含 WiFi 连接功能需要确认固件不会向未知服务器上传数据建议在本地网络环境中试验不要把开发板直接暴露到公网。如果你要扩展成一个带 Web 面板的服务必须加访问认证避免局域网内任意设备直接控制开发板。9.4 固件与数据管理建议在长时间运行或反复测试时建议做以下操作多次烧录前执行擦除 Flash避免旧配置残留。串口日志定期保存到文件方便回溯崩溃原因。当面板数据延迟高时降低串口输出频率。每次换模型后记录模型大小、显存内存占用和生成速度形成对照表。这里可以做一张实用统计表模型文件内存占用生成速度 Token/s文本质量备注默认模型待实测待实测中等推荐先跑通更小量化模型待实测待实测稍差用于极限降配更大模型待实测待实测更好需要更大 PSRAM这种表格在你后续换模型、调参数时非常有参考价值。10. 扩展思路与下一步这个示例跑通之后可以继续往几个方向扩展10.1 接入自己的提示词系统Brainscope 可视化面板可以通过串口和 WiFi 接收数据如果自己写一个上位机把任意 LLM 推理引擎的输出格式统一成 Brainscope 协议就能在 PC 上观察更大模型的概率分布。这是一种很好的二次开发方向。10.2 扩展更多传感器输入既然 ESP32 能跑微型 LLM还能观察推理状态那么可以尝试把传感器读数作为输入做成温度预测、动作分类等小型边缘 AI 应用并用 Brainscope 实时观察状态变化。这就从“看 LLM 思考”扩展到了“看嵌入式模型预测”。10.3 对比不同模型和采样策略利用可视化面板可以做实验对比不同量化精度的模型。不同上下文长度。不同采样器。不同温度参数。不同 prompt 模板。这些实验结果都可以导出成 Token 概率分布图作为学习笔记或教学材料。10.4 结合 PC 端大模型ESP32 上跑微型模型更多是验证和教学要获得更好的生成效果可以做成混合结构ESP32 负责传感器采集和系统控制PC 端跑大模型通过串口/网络把结果回传。Brainscope 的可视化思路可以继续用在 PC 端模型观察上。这个示例给嵌入式 AI 调试提供了一个非常直观的新工具。首先要验证的是能不能顺利烧录并打开面板最容易踩的坑是硬件选型不对、库安装不全、分区表配置错误一旦跑通建议优先做温度参数调节实验看完概率分布变化你对 LLM 采样的理解会上一个台阶。建议把这篇文章收藏备用后面折腾 Brainscope 或 ESP32 AI 项目时可以直接照着做。
ESP32上跑微型LLM并可视化推理：Brainscope示例全解析
这次我们来看一个非常有意思的嵌入式 AI 项目Brainscope 的 examples/ESP32 示例。简单说它是一个让 ESP32 微控制器跑一个极小型 LLM然后把模型推理过程实时可视化出来的开源示例。你可以在浏览器里看到单片机里的“大模型”每一步怎么选词、概率如何变化、当前在“想”什么。这类项目最亮眼的地方不是模型能力而是把 LLM 内部状态真正“拆开”给人看。过去我们调 LLM通常只知道输入和输出很难感知模型在解码时的概率分布变化。Brainscope 的 ESP32 示例把这件事落到了开发板上非常适合嵌入式开发者、AI 入门者、以及想理解 LLM 推理过程的同学。本文会带大家完整梳理这个示例的硬件要求、环境搭建、烧录流程、可视化界面观察方式以及常见问题和性能观察方法。1. 核心能力速览先给一张速览表方便快速判断这个示例值不值得折腾。能力项说明项目类型ESP32 嵌入式示例结合微型 LLM 推理与 Brainscope 可视化调试工具核心功能在 ESP32 上运行微型语言模型并通过可视化面板观察模型每一步的 Token 概率分布与生成过程推荐硬件ESP32-S3 系列建议选择带大容量 PSRAM 的型号例如 N16R88MB PSRAM或 N32R8对普通 ESP32 的支持经典 ESP32 也能编译运行部分示例但 RAM 和 PSRAM 较小需按实际模型文件评估容易编译通过但运行时内存溢出主要依赖Arduino IDE ESP32 开发板包或 PlatformIO以及 Brainscope 工具链启动方式先编译烧录固件到 ESP32再在浏览器打开可视化面板需要保持设备通过串口或 WiFi 连接是否支持 API 接口示例本身不提供通用 REST API更偏向实时观测具体是否具备可编程接口需以仓库内示例代码为准是否支持批量任务不适用于传统批量任务更合适的理解是持续观察多轮生成或连续 Token 决策适合场景学习 LLM 解码过程、嵌入式 AI 可视化教学、边缘端模型推理调试、创客项目展示使用门槛中等需要一点 Arduino 开发基础不需要服务器级 GPU这个示例把一个 8 位单片机变成“可观察的 LLM 大脑”对理解自回归语言模型有很大帮助。最有价值的点在于它把模型推理过程从黑盒变成白盒。2. 这个示例解决什么问题边缘端 LLM 可视化调试在写环境准备之前先理解项目定位非常有帮助。Brainscope 这个名字拆开来就是 “Brain” “Scope”可以理解为“大脑示波器”。它关注的是 LLM 内部状态而不是模型最终输出的文本。在 PC 上跑大模型我们可以通过 OpenAI 兼容接口、LangChain 回调、TensorBoard 等方式记录日志但都很难实时看到模型每一步在候选词上的概率分布。Brainscope 做的事情就是把这种“内部状态观测”下沉到嵌入式设备上。ESP32 算力有限跑不了 7B 模型但示例通过量化极小型语言模型可以在单片机级别完成前向推理。同时通过可视化面板你可以清楚看到模型正在处理第几个 Token。当前候选 Token 列表以及概率排序。模型最终选择了哪个 Token。温度、Top-K、Top-P 等采样参数如何影响选择结果。生成整段文本时的“犹豫”过程。这种可视化调试对理解采样参数带来的影响极其直观。比如把温度调高你能看到概率分布变平模型开始“乱选”温度调低概率分布更尖锐输出更保守。这些在 PC 大模型上也能调但看不见分布变化感知不强。在 ESP32 示例里效果是实时呈现的非常适合教学演示和科普。同时这个示例也给嵌入式 AI 提供了一种调试范式在资源受限设备上跑模型如果输出不稳定过去只能加日志现在可以通过可视化方式观察内部状态定位问题效率高很多。3. 环境准备与硬件选型3.1 硬件要求从项目示例的定位来看它基于 ESP32 平台。考虑到 LLM 推理主要吃 RAM 和 PSRAM所以硬件选型建议如下硬件建议说明开发板ESP32-S3-DevKitC-1 或任意 ESP32-S3 开发板S3 系列主频更高支持更大 PSRAM推荐型号ESP32-S3 N16R816MB Flash 8MB PSRAM8MB PSRAM 对微型 LLM 推理更从容备选ESP32-S3 N8R2、ESP32-S3 N32R8R22MB PSRAM偏小可能需要进一步裁剪模型N32 适合后续扩展普通 ESP32可尝试但需关注编译内存和运行稳定性经典 ESP32 的 PSRAM 版本可用但总体资源偏紧显示屏可选不必须如果示例内置屏幕渲染逻辑则需要参考仓库示例配置数据线高质量 USB 数据线部分数据线只供电不能传数据会导致烧录失败这里要特别强调不要随便拿一个 ESP32-DevKitC V4 就以为一定能跑。最小模型方案虽然可以做但 LLM 推理需要相对大的连续内存区PSRAM 小于 2MB 的设备很容易在运行时崩。3.2 软件环境软件层面必须准备以下内容软件用途版本建议Arduino IDE编译和烧录示例代码推荐 2.x 版本及以上界面更现代依赖管理更方便ESP32 Arduino 开发板包提供 ESP32-S3 编译工具链和核心库最新稳定版或使用离线安装包Brainscope 示例工程项目源码按仓库 README 拉取浏览器打开可视化面板Chrome / Edge 均可如果是国内网络环境Arduino 开发板管理器下载 esp32 包可能比较慢或失败常见做法是配置开发板管理器地址。通过离线安装包直接安装 esp32 包。开发板地址一般为https://espressif.github.io/arduino-esp32/package_esp32_index.json在 Arduino IDE 的“文件 - 首选项 - 附加开发板管理器网址”中添加该地址然后在“开发板管理器”中搜索 esp32 并安装。如果下载失败建议直接搜索“esp32 离线安装包”按照对应 Arduino IDE 版本下载离线压缩包手动放入 Arduino 的 hardware 目录解压这也是社区里最常用的降级方案。3.3 磁盘与端口ESP32 示例编译通常只需要几百 MB 磁盘空间不需要 GPU不需要 CUDA。端口方面主要注意烧录时选择正确的 COM 口。可视化面板一般基于串口或 WiFi 通信需避免端口被其他串口监视器占用。如果使用蓝牙进行数据传输则需要留意 ESP32 经典蓝牙与 BLE 的配置差异。4. 编译烧录 Brainscope ESP32 示例4.1 拉取工程代码先把示例工程拉取到本地。通用流程如下git clone https://github.com/Brainscope/brainscope.git cd brainscope/examples/esp32具体路径以实际仓库为准。拉取后建议先阅读项目 README确认示例目录里是否包含模型文件、是否需要单独下载模型权重。4.2 配置开发板打开 Arduino IDE选择开发板为 ESP32S3 Dev Module。进入“工具”菜单按以下建议配置配置项推荐值说明BoardESP32S3 Dev Module选择对应芯片型号USB CDC On BootEnabled方便通过 USB 查看日志CPU Frequency240MHz除非示例要求否则保持最高主频Flash Size16MB对应 N16R8 开发板PSRAMOPI PSRAM8MB PSRAM 通常选择此项Partition Scheme根据示例要求选择如果模型文件较大选择 Huge APP 或自定义分区这里特别提醒Partition Scheme 如果不匹配编译出来的固件可能超出分区大小导致烧录后无法启动或者模型数据无法写入。如果示例文档指定了分区表一定要改。4.3 安装依赖库在编译之前需要安装示例依赖的 Arduino 库。通用方式是在 Arduino IDE 的“库管理器”中搜索安装。常见的依赖可能包括WebServer 相关库如果示例通过 WiFi 提供网页面板。ArduinoJson用于生成 JSON 格式的状态数据。模型推理库示例自带或依赖特定推理引擎。如果示例目录下有libraries文件夹或platformio.ini也可以直接使用 PlatformIO 方式构建依赖管理会更省心。PlatformIO 示例配置示例如下[env:esp32-s3-devkitm-1] platform espressif32 board esp32-s3-devkitm-1 framework arduino monitor_speed 115200 board_build.flash_size 16MB board_build.psram_type opi4.4 编译和烧录在 Arduino IDE 中点击编译首次编译会下载工具链时间会比较长。编译成功后选择正确的 COM 口然后点击烧录。烧录过程中如果遇到连接失败尝试按住开发板上的 BOOT 键再点击烧录很多 ESP32-S3 开发板需要手动进入下载模式。烧录常见报错示例报错内容处理方式A fatal error occurred: Failed to connect to ESP32-S3按住 Boot 键重试检查数据线是否支持数据传输Serial port COMx not found检查驱动是否安装更换 USB 口Chip is ESP32-S3, wrong chip开发板型号选错重新选择 ESP32S3 Dev ModuleFlash write timeout降低波特率重试或者检查供电不足烧录完成后打开串口监视器波特率一般设置为 115200观察设备是否正常打印日志。5. 启动可视化在浏览器里观察 LLM“思考”5.1 启动方式根据示例的通信方式一般会有两种启动路径串口模式ESP32 通过 USB 串口把 Token 概率数据发送到电脑电脑端 Brainscope 面板接收并绘制。WiFi 模式ESP32 连接局域网浏览器直接访问开发板提供的网页实时绘制概率分布。如果示例默认使用 WiFi则需要在代码里配置 WiFi SSID 和密码。示例代码中通常会有类似这样的部分const char* ssid your_wifi_ssid; const char* password your_wifi_password;修改后重新编译烧录然后在串口日志中查看分配给开发板的 IP 地址。浏览器打开该 IP 地址即可看到可视化面板。如果默认走串口通信则需要在电脑端启动 Brainscope 的面板程序。具体启动命令以项目 README 为准但常见 Node.js 面板的启动方式是cd panel npm install npm start启动后浏览器访问http://127.0.0.1:3000或http://localhost:3000具体端口以实际项目配置为准。5.2 面板上能看什么启动后面板通常展示以下信息当前生成文本逐字显示 LLM 已经生成的 Token 内容。Token 概率分布每个候选 Token 的概率柱状图。采样参数温度、Top-K、Top-P 的实时数值。生成状态正在推理、采样、输出等。模型信息当前加载的模型名称、上下文长度等。这个过程非常有趣。你可以在输入框给一个开头比如“Once upon a time”然后看着开发板上的微型 LLM 一个一个 Token 地生成后面的故事。每一个 Token 的选择过程都变成可视化的概率条你能清楚看到模型在“the”和“a”之间可能产生微小犹豫也能看到低概率 Token 被采样选中时模型输出的“跳跃感”。5.3 判断可视化是否正常的标准判断这个示例是否跑通可以通过三条标准面板能够打开并且能收到 ESP32 上传的数据。输入提示词后生成区开始逐字输出文本。概率分布图随着每一步生成而刷新。如果面板打不开优先检查串口占用、WiFi 连接、防火墙设置如果面板能开但没有数据检查串口波特率是否匹配WiFi 设备是否在同一个局域网。6. 功能测试与效果观察6.1 不同提示词测试建议准备一组测试提示词观察模型在指令型、开放型、重复型输入下的表现。测试类型输入示例观察重点开放续写The future of AI isToken 概率分布是否平滑、连贯简单问答What is ESP32?微型模型是否给出合理回答重复模式hello hello hello模型是否开始重复概率分布是否塌缩中文输入今天天气模型是否支持中文词表中文 Token 概率分布情况符号输入10 5 看数值推理稳定性一般微型模型较弱这个用例的设计思路是通过不同输入形态观察模型在不同语境下的概率选择。如果模型在开放式续写中表现不错但数值推理完全失败这说明模型能力和关注点所在。6.2 采样参数调节测试采样参数是可视化中非常值得调整的变量。在面板中如果可以调节尝试三组参数对比场景温度Top-K预期表现保守模式0.210输出稳定但可能重复默认模式0.750平衡表达视觉效果最好发散模式1.4100输出跳跃概率分布明显变平每次调整后再看概率柱状图的变化。温度调高后原本几乎为零概率的奇怪 Token 会被点亮这就是温度对分布拉平作用的直观演示。这种观察比在 PC 上跑大模型再打印 log 直观得多。6.3 显式观察 Token 选择过程LLM 的本质是词汇表上的概率分布采样。Brainscope 面板把概率排序可视化之后可以做几个很有意思的观察看第一个 Token 的选择同样的开头是不是每次生成不一样。看高概率 Token 和最终选择 Token 是否一致。看低概率 Token 何时被选中一般发生在温度较高时。看上下文如何改变分布同一个前缀后面跟不同上文概率条变化明显。这些观察对理解 LLM 的“随机性”非常有帮助。很多人以为 LLM 每次输出不同是因为“模型不固定”实际上模型参数是固定的变化来自采样过程。通过可视化概率分布你能真正看到这种采样随机性。6.4 长文本与连续生成微型 LLM 的上下文窗口一般比较有限可以尝试长时间连续生成观察生成到多少 Token 后开始重复。上下文窗口满了之后模型如何“遗忘”早期内容。面板是否出现明显卡顿或数据延迟。开发板温度和稳定性。如果出现面板卡顿优先怀疑串口数据量过大或者浏览器渲染性能不够降低刷新频率或者缩短上下文可以明显改善。7. 资源占用与性能观察7.1 内存占用观察方法ESP32 上的内存分几种Flash存放固件和模型文件。SRAM运行时的程序变量。PSRAM扩展内存主要用于模型权重和中间激活值。编译时Arduino IDE 会输出 Flash 和内存占用情况这是第一步观察。示例启动后还可以在串口日志中看到剩余堆内存、最大可分配块等信息。推荐在代码中定期打印内存状态Serial.printf(Free heap: %d\n, ESP.getFreeHeap()); Serial.printf(Free PSRAM: %d\n, ESP.getFreePsram()); Serial.printf(Largest free block: %d\n, heap_caps_get_largest_free_block(MALLOC_CAP_8BIT));这样可以看到模型推理过程中内存的变化情况。如果 Free heap 持续下降说明存在内存泄漏需要检查推理代码是否反复申请内存但没有释放。7.2 CPU 与推理速度LLM 推理在 ESP32-S3 上属于重负载任务。240MHz 双核 MCU 跑微型模型每个 Token 的生成时间可能是几十毫秒到几百毫秒级别。实际速度取决于模型大小、量化精度、上下文长度和 CPU 频率。建议在实际测试中记录“每秒生成 Token 数”指标。如果太慢可以考虑降低模型参数量或量化位数。缩短上下文长度。关闭其他占 CPU 的任务。把双核任务分配调整成推理线程绑定到专用核心。如果示例支持选择模型文件优先尝试更小的量化模型先把流程跑通再逐步升级模型大小。7.3 降低资源占用的通用策略策略说明使用量化模型把浮点权重量化为 int8 或 int4可以大幅降低 PSRAM 占用减少上下文长度控制输入 Token 数量降低激活内存关闭日志输出在推理循环中减少串口打印降低 CPU 消耗降低刷新率面板端降低数据刷新频率减少上传带宽占用升级 PSRAM如果开发板支持选择 8MB 或更大 PSRAM 版本裁剪词表如果示例支持减小词汇表可以降低输出层内存和计算量7.4 功耗与散热ESP32 在高负载 LLM 推理时芯片功耗会明显上升但一般不会过热。如果要长时间运行建议避免把开发板放在封闭塑料盒中。使用外部供电代替 USB 供电确保电流稳定。在串口日志中持续监控芯片温度。Serial.printf(Temperature: %f\n, temperatureRead());温度持续超过 80 摄氏度时需要检查供电和散热。8. 常见问题与排查方法8.1 编译相关问题现象可能原因排查方式解决方案编译报错找不到esp_llm.h依赖库未安装检查库管理器安装情况安装示例要求的推理库编译报错 Flash 分区不够Partition Scheme 设置过小查看编译日志中的分区表切换到 Huge APP 分区或自定义分区编译报错内存不足模型文件过大或配置过高查看编译输出中的内存统计更换更小模型减少上下文下载 esp32 包失败网络问题检查下载日志使用离线安装包重复定义错误示例库和已装库冲突查看具体报错文件卸载冲突库或修改库搜索顺序8.2 烧录相关问题现象可能原因排查方式解决方案无法连接开发板驱动未装或数据线仅供电查看设备管理器更换数据线安装驱动烧录卡在等待开机同步未进入下载模式按住 Boot 键重试手动进入下载模式烧录后无串口日志波特率不对尝试 115200 或开发板默认速率修改串口监视器波特率串口日志乱码波特率不匹配检查代码和监视器波特率统一波特率8.3 运行与可视化相关问题现象可能原因排查方式解决方案面板打不开WiFi 未连接或端口错误查看串口日志中的 IP 和端口重新配置 WiFi检查防火墙面板能开但无数据串口被占用或协议不匹配关闭其他串口监视器释放串口重启面板程序生成文本全是乱码模型词表和文本编码不匹配查看面板日志更换匹配的模型文件运行一段时间后卡死内存泄漏或任务栈溢出查看崩溃日志和堆内存增加任务栈大小修复泄漏概率分布不刷新面板线程阻塞或数据格式错误检查 ESP32 串口输出查看数据帧是否符合预期设备发热但不工作电源供电不足测量电流更换稳定外部电源8.4 模型相关问题现象可能原因排查方式解决方案模型输出质量差模型参数量太小观察概率分布是否符合预期换更大模型调整提示词中文支持差词表中中文 Token 覆盖不足查看词表文件换中文模型或接受英文为主上下文过短示例配置限制查看配置参数有条件时扩大上下文长度推理太慢模型大、频率低记录生成耗时量化模型、提升主频9. 最佳实践与使用边界9.1 工程实践建议如果是想把这个示例稳定跑起来并且后续做二次开发建议遵循以下流程第一次烧录使用默认配置不要修改任何参数确认环境 OK。跑通后备份一份能运行的完整工程包括库版本、开发板配置、分区表配置。模型文件、代码、可视化面板分目录管理不要全都堆在下载文件夹。每次修改代码前记录修改点方便回退。使用 Git 管理自己的改动不要直接改原始 examples 目录。如果后续想扩展到自己的嵌入式 AI 项目可以先在 ESP32-S3 上跑通一个最小模型再逐步加功能。Brainscope 的价值不只是看演示更重要的是它给出了一个“嵌入式模型内部状态观测”的参考实现可以复用它的可视化面板来调试自己部署的模型。9.2 适合与不适合的场景适合想理解 LLM Token 采样过程的人。做边缘端 AI 演示项目的创客。嵌入式开发中需要观察模型状态的人。教学场景中讲解自回归模型原理的老师。不适合想把 ESP32 当生产级 LLM 服务器用的人。需要高精度中文文本生成的人。想跑大模型量化版的人8MB PSRAM 跑大模型不现实。完全没有 Arduino 基础也不愿意折腾环境的人。9.3 版权与使用边界使用这个示例时需要注意几个基本边界模型权重如果来自第三方仓库需要确认开源协议是否允许商用、修改和重新分发。如果模型是在别人的预训练权重基础上微调出来的需要保留原项目版权声明。示例代码如果采用开源协议二次开发后发布时需要遵守对应协议。如果你的应用要把生成内容用于公开场景请审核模型输出微型 LLM 生成内容质量有限可能出现有害或不合适的内容。从安全边界来说这个项目本质是本地推理不涉及云端数据回传但如果示例代码里包含 WiFi 连接功能需要确认固件不会向未知服务器上传数据建议在本地网络环境中试验不要把开发板直接暴露到公网。如果你要扩展成一个带 Web 面板的服务必须加访问认证避免局域网内任意设备直接控制开发板。9.4 固件与数据管理建议在长时间运行或反复测试时建议做以下操作多次烧录前执行擦除 Flash避免旧配置残留。串口日志定期保存到文件方便回溯崩溃原因。当面板数据延迟高时降低串口输出频率。每次换模型后记录模型大小、显存内存占用和生成速度形成对照表。这里可以做一张实用统计表模型文件内存占用生成速度 Token/s文本质量备注默认模型待实测待实测中等推荐先跑通更小量化模型待实测待实测稍差用于极限降配更大模型待实测待实测更好需要更大 PSRAM这种表格在你后续换模型、调参数时非常有参考价值。10. 扩展思路与下一步这个示例跑通之后可以继续往几个方向扩展10.1 接入自己的提示词系统Brainscope 可视化面板可以通过串口和 WiFi 接收数据如果自己写一个上位机把任意 LLM 推理引擎的输出格式统一成 Brainscope 协议就能在 PC 上观察更大模型的概率分布。这是一种很好的二次开发方向。10.2 扩展更多传感器输入既然 ESP32 能跑微型 LLM还能观察推理状态那么可以尝试把传感器读数作为输入做成温度预测、动作分类等小型边缘 AI 应用并用 Brainscope 实时观察状态变化。这就从“看 LLM 思考”扩展到了“看嵌入式模型预测”。10.3 对比不同模型和采样策略利用可视化面板可以做实验对比不同量化精度的模型。不同上下文长度。不同采样器。不同温度参数。不同 prompt 模板。这些实验结果都可以导出成 Token 概率分布图作为学习笔记或教学材料。10.4 结合 PC 端大模型ESP32 上跑微型模型更多是验证和教学要获得更好的生成效果可以做成混合结构ESP32 负责传感器采集和系统控制PC 端跑大模型通过串口/网络把结果回传。Brainscope 的可视化思路可以继续用在 PC 端模型观察上。这个示例给嵌入式 AI 调试提供了一个非常直观的新工具。首先要验证的是能不能顺利烧录并打开面板最容易踩的坑是硬件选型不对、库安装不全、分区表配置错误一旦跑通建议优先做温度参数调节实验看完概率分布变化你对 LLM 采样的理解会上一个台阶。建议把这篇文章收藏备用后面折腾 Brainscope 或 ESP32 AI 项目时可以直接照着做。 
