1. 项目概述从数据到边缘的旅程最近在折腾一个智能识别的小项目核心目标是把一个训练好的AI模型塞进一块只有硬币大小的XIAO ESP32S3开发板里让它能脱离电脑和网络独立运行。这听起来像是把一头大象装进冰箱但实际走通之后你会发现这条路径上充满了有趣的挑战和实用的技巧。整个过程我把它概括为“从数据集到部署”的完整闭环这不仅仅是跑通一个Demo更是理解边缘AI应用落地的核心脉络。你可能会问为什么是ESP32-S3为什么不用树莓派或者Jetson Nano答案很简单成本、功耗和体积。对于需要嵌入到小型设备、电池供电或者对实时性有要求的场景比如智能门锁的人脸识别、工业传感器的异常检测、简易的垃圾分类桶一块几十块钱、功耗仅毫瓦级、自带Wi-Fi/蓝牙的芯片其吸引力是巨大的。XIAO ESP32S3凭借其双核240MHz处理器、内置的8MB PSRAM和丰富的IO成为了轻量级模型部署的绝佳试验场。这个项目的核心价值在于“端到端”的实践。它不只是调用某个现成的库而是涵盖了从数据集的准备与处理、模型的选择与训练、到最终的模型转换、量化、优化以及嵌入到微控制器MCU的完整流程。无论你是嵌入式开发者想切入AI还是算法工程师想了解模型如何落地这个过程都能给你带来一手经验。接下来我会拆解每一个环节分享其中踩过的坑和验证有效的技巧。2. 核心思路与方案选型要把一个AI模型部署到ESP32-S3这样的资源受限设备上不能沿用服务器或PC上的那套思维。这里的核心矛盾是模型强大的识别能力与硬件有限的计算资源、存储空间之间的矛盾。因此整个方案的设计都围绕着“轻量化”和“高效率”展开。2.1 模型框架的抉择TensorFlow Lite Micro 与 ESP-DL目前针对微控制器的模型部署主要有两大阵营TensorFlow Lite for Microcontrollers (TFLite Micro)和Espressif 自家的 ESP-DL。TFLite Micro是谷歌推出的官方方案生态成熟工具链完整。它的最大优势是兼容性好。你可以在PC上使用熟悉的TensorFlow或Keras训练模型然后通过TensorFlow Lite Converter转换成.tflite格式最后使用TFLite Micro的解释器在MCU上运行。它支持浮点float32和量化int8模型社区资源丰富遇到问题容易找到答案。对于从AI领域过来的开发者学习曲线相对平缓。ESP-DL是乐鑫为自家ESP32系列芯片特别是带向量指令扩展的S3系列深度优化的神经网络推理库。它不只是一个运行时而是一个从模型定义、量化、到代码生成的完整工具链。它的最大优势是性能。ESP-DL直接利用ESP32-S3的硬件向量指令进行加速并且通过其特有的“内存布局优化”和“算子融合”技术能极大提升推理速度并降低内存占用。缺点是它要求你用其提供的Python包重新定义和量化模型与原始训练框架如PyTorch的对接需要多一步转换灵活性稍逊。我的选择与理由经过实测对于同一款MobileNetV1模型在XIAO ESP32S3上ESP-DL的推理速度比TFLite Micro快约30%-50%内存峰值占用减少约20%。对于追求极致性能和响应速度的应用ESP-DL是更优的选择。因此本项目后续将以ESP-DL作为主要的部署框架进行详解。但我会在关键环节对比TFLite Micro的做法以便你根据自身情况选择。2.2 模型架构的选择从MobileNet到自定义CNN硬件资源是天花板模型必须足够小、足够快。常见的候选者有MobileNet系列专为移动和嵌入式设备设计的卷积神经网络。深度可分离卷积是其核心在精度损失不大的情况下大幅减少参数量和计算量。MobileNetV1/V2是经典选择V3在架构上做了进一步优化引入了SE模块和h-swish激活函数但部分操作在MCU上实现效率可能不高。SqueezeNet通过“Fire Module”结构在保持AlexNet级别精度的同时将模型压缩到仅0.5MB左右非常适合存储空间紧张的设备。TinyML定制模型根据你的具体任务比如只是识别几种特定的物体或状态完全可以自己设计一个只有几层卷积和全连接的小型CNN。这种模型体积可以做到极小几十KB推理速度极快但需要一定的模型设计经验。实操心得不要盲目追求先进的模型。对于ESP32-S3MobileNetV1 0.25深度乘子Depth Multiplier的版本是一个非常好的起点。它在ImageNet上有约50%的Top-1精度模型大小约300-400KBfloat32经过int8量化后可压缩到100KB以内在S3上推理一张96x96的图片约需100-200ms。先用它跑通流程再根据任务需求考虑是否换用更小的自定义模型或尝试MobileNetV2。2.3 数据流与工具链全景图理清整个流程的工具链至关重要它能让你避免在中间环节卡壳。基于ESP-DL的方案完整流程如下数据准备端PC/Python环境数据集收集和标注你的图片数据如猫、狗、汽车。模型训练/获取使用PyTorch/TensorFlow训练一个新模型或下载一个预训练模型。模型转换将训练好的模型通常是.pth或.h5转换为ONNX格式。ONNX是一个开放的模型交换格式是连接不同框架的桥梁。模型优化与量化使用ESP-DL提供的Python工具包加载ONNX模型进行动态范围量化Calibration生成ESP-DL支持的.bin模型文件和对应的*.h头文件包含模型结构信息。部署端XIAO ESP32S3 / Arduino/ESP-IDF工程创建在Arduino IDE或ESP-IDF中创建项目。集成模型文件将上一步生成的model.bin和model.h文件放入项目的特定目录如/model。编写推理代码在固件中编写代码加载.bin模型调用ESP-DL库的API进行图像预处理、推理和后处理。编译与烧录编译整个项目并将固件烧录到XIAO ESP32S3中。这个流程的关键在于ONNX转换和ESP-DL量化这两个环节它们是将通用模型“翻译”成ESP32-S3能高效执行指令的关键步骤。3. 数据集准备与模型训练要点虽然本项目重点在部署但“垃圾进垃圾出”的原则在AI领域永远成立。一个糟糕的数据集或训练过程会导致部署后模型表现不佳而调试嵌入式端的模型问题极其困难。3.1 构建一个“嵌入式友好”的数据集你的数据集需要为最终的部署环境服务。分辨率匹配在训练时就要确定好最终部署时的输入图像尺寸例如96x96或160x160。务必使用这个尺寸来训练和验证模型。如果在PC上用224x224训练部署时却缩放到96x96会丢失大量细节导致精度骤降。数据增强的针对性对于嵌入式应用数据增强应模拟真实部署环境。例如如果摄像头可能安装在不同角度增加旋转和仿射变换。如果光照条件变化大增加亮度、对比度扰动。如果目标物体可能被部分遮挡可以随机添加一些遮挡块。避免过度增强一些在通用数据集上有效的增强如复杂的色彩抖动、锐化可能不适用于你的特定场景甚至引入噪声。类别平衡与背景确保每个类别的样本数大致均衡。同时在数据集中包含足够的“背景”或“负样本”即不包含任何目标物体的图片这能有效降低误报率。对于ESP32-S3误报带来的后续处理开销可能是难以承受的。3.2 训练策略与模型导出这里以PyTorch训练一个简单的分类模型为例。import torch import torch.nn as nn import torch.optim as optim from torchvision import models, transforms # 1. 定义一个轻量级模型示例简化版CNN class TinyCNN(nn.Module): def __init__(self, num_classes3): super(TinyCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 16, kernel_size3, stride2, padding1), # 输入96x96x3 - 输出48x48x16 nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2), # 48x48x16 - 24x24x16 nn.Conv2d(16, 32, kernel_size3, padding1), # 24x24x16 - 24x24x32 nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2), # 24x24x32 - 12x12x32 nn.Conv2d(32, 64, kernel_size3, padding1), # 12x12x32 - 12x12x64 nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2), # 12x12x64 - 6x6x64 ) self.classifier nn.Sequential( nn.Dropout(0.2), # 嵌入式上可考虑去掉Dropout以简化 nn.Linear(6*6*64, 128), nn.ReLU(inplaceTrue), nn.Linear(128, num_classes) ) def forward(self, x): x self.features(x) x torch.flatten(x, 1) x self.classifier(x) return x # 2. 训练循环简化示意 model TinyCNN(num_classes3) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001) # ... 这里加载数据集进行训练循环 ... # 3. 训练完成后将模型设置为评估模式并导出为ONNX model.eval() dummy_input torch.randn(1, 3, 96, 96) # 注意输入尺寸与部署时一致 torch.onnx.export(model, dummy_input, tiny_cnn.onnx, export_paramsTrue, opset_version11, # 建议使用opset 10或11ESP-DL兼容性好 do_constant_foldingTrue, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}}) print(Model exported to tiny_cnn.onnx)注意事项opset_versionONNX的算子集版本。建议使用10或11这是ESP-DL工具链兼容性较好的版本。版本过高可能包含不支持的算子。dynamic_axes虽然嵌入式推理通常是batch_size1但保留动态轴可以增加模型的灵活性。你也可以固定batch_size。简化模型结构对于嵌入式部署可以考虑将BatchNorm层与之前的Conv2d层融合使用torch.quantization.fuse_modules并将ReLU等激活函数合并这有助于后续的量化与优化。4. 模型转换、量化与ESP-DL工具链使用这是将通用模型“编译”成ESP32-S3可执行格式的核心步骤。我们使用ESP-DL提供的工具。4.1 环境搭建与模型优化首先需要在你的PCPython环境中安装ESP-DL的模型转换工具。pip install esp-dl安装后关键的工具是esp_dl模块中的ModelOptimizer和Quantizer。4.2 完整转换与量化代码示例假设我们有一个训练好的tiny_cnn.onnx模型输入是[1, 3, 96, 96]输出是[1, 3]3分类。import numpy as np from esp_dl import ModelOptimizer, Quantizer, DataLoader # 1. 加载ONNX模型并进行图优化 optimizer ModelOptimizer(tiny_cnn.onnx) optimized_model_path tiny_cnn_optimized.onnx optimizer.optimize(optimized_model_path) print(fOptimized model saved to {optimized_model_path}) # 2. 准备量化所需的校准数据集 # 校准数据集不需要标签只需一批具有代表性的输入数据即可通常从训练集中取100-200张 def representative_dataset(): # 这里是一个示例你需要替换为从你的数据集中加载真实图片的逻辑 for _ in range(100): # 生成一个符合真实数据分布的随机张量或从npy文件加载 data np.random.randn(1, 3, 96, 96).astype(np.float32) # 或者data np.load(calib_data/calib_1.npy) yield [data] # 注意yield一个列表列表中的元素对应ONNX模型的输入 # 3. 执行动态范围量化INT8量化 quantizer Quantizer(optimized_model_path) quantized_model_path tiny_cnn_quantized.onnx # 使用校准数据集进行量化 quantizer.quantize(quantized_model_path, calibration_data_loaderrepresentative_dataset, quant_typeint8) # 指定量化类型为int8 print(fQuantized model saved to {quantized_model_path}) # 4. 将量化后的模型转换为ESP-DL格式 from esp_dl import EspDLConverter converter EspDLConverter(quantized_model_path) # 指定输出目录和模型名称 converter.convert(output_dir./esp_dl_model, model_nametiny_cnn)运行以上脚本后你会在./esp_dl_model目录下得到两个关键文件tiny_cnn.bin: 包含量化后权重的二进制模型文件。tiny_cnn.h: 包含模型结构层类型、参数、输入输出尺寸的C头文件。4.3 量化原理与校准数据的重要性为什么需要量化浮点数float32计算对MCU来说非常昂贵。量化将权重和激活值从float32转换为int8或其他整数类型可以将模型大小减少约75%同时利用整数计算单元大幅提升推理速度。ESP32-S3对int8运算有较好的硬件支持。动态范围量化Dynamic Range Quantization是这里使用的方法。它不需要一个完整的训练过程即QAT量化感知训练而是通过一个校准数据集来统计模型中每一层激活值的实际动态范围最大值、最小值从而确定将float32映射到int8的缩放比例scale和零点zero point。实操心得校准数据集的准备这是量化成功与否的关键。校准数据集必须具有代表性最好能覆盖部署场景中可能遇到的各种情况不同光照、角度、背景。如果校准数据过于单一量化后的模型在面对分布外数据时性能会严重下降。一个实用的做法从你的训练集中随机抽取100-200张图片不要使用验证集或测试集以确保量化过程不会“偷看”到测试数据。5. 在XIAO ESP32S3上集成与推理拿到model.bin和model.h后下一步就是让它们在开发板上跑起来。这里以Arduino IDE环境为例ESP-IDF环境逻辑类似但项目结构更复杂。5.1 Arduino项目设置与库安装安装ESP32 Arduino支持在Arduino IDE的“开发板管理器”中搜索并安装“esp32 by Espressif Systems”。安装ESP-DL Arduino库打开“库管理器”搜索“ESP-DL”。或者从GitHub下载最新版ESP-DL库将其解压到Arduino的libraries文件夹下。选择开发板在“工具”菜单中选择开发板为“Seeed XIAO ESP32S3”。5.2 项目文件结构与代码解析一个典型的Arduino项目结构如下XIAO_Model_Deployment/ ├── XIAO_Model_Deployment.ino # 主程序入口 ├── model/ # 模型文件目录 │ ├── tiny_cnn.bin │ └── tiny_cnn.h └── ...主程序 (XIAO_Model_Deployment.ino) 关键部分#include esp_dl.h #include model/tiny_cnn.h // 包含生成的头文件 // 定义模型输入输出尺寸从model.h中可知 #define INPUT_HEIGHT 96 #define INPUT_WIDTH 96 #define INPUT_CHANNEL 3 #define OUTPUT_SIZE 3 // 3个类别 // 声明模型对象和输入输出张量 static tiny_cnn_model model; static int8_t *input_data NULL; // 量化后模型需要int8输入 static int8_t *output_data NULL; // 分配内存使用PSRAM如果可用 #if CONFIG_SPIRAM_USE_CAPS_ALLOC #define MODEL_MEMORY_CAPS MALLOC_CAP_SPIRAM #else #define MODEL_MEMORY_CAPS MALLOC_CAP_DEFAULT #endif void setup() { Serial.begin(115200); delay(1000); Serial.println(Starting Model Deployment on XIAO ESP32S3); // 1. 初始化模型 if (model.init() ! ESP_DL_OK) { Serial.println(Model initialization failed!); while(1); } Serial.println(Model initialized.); // 2. 为输入输出张量分配内存 input_data (int8_t *)heap_caps_malloc(INPUT_HEIGHT * INPUT_WIDTH * INPUT_CHANNEL * sizeof(int8_t), MODEL_MEMORY_CAPS); output_data (int8_t *)heap_caps_malloc(OUTPUT_SIZE * sizeof(int8_t), MODEL_MEMORY_CAPS); if (input_data NULL || output_data NULL) { Serial.println(Memory allocation failed!); while(1); } Serial.println(Memory allocated.); // 3. 获取摄像头或图像数据此处以模拟数据为例 // 在实际应用中这里应该从OV2640等摄像头读取一帧图像 simulate_image_input(input_data); // 自定义函数填充模拟数据 // 4. 执行推理 long start_time micros(); if (model.invoke(input_data, output_data) ! ESP_DL_OK) { Serial.println(Model inference failed!); } long end_time micros(); Serial.printf(Inference time: %ld us\n, end_time - start_time); // 5. 处理输出结果 // 输出是int8量化后的值需要反量化到浮点数或直接比较int8值 // 从model.h中获取输出层的量化参数scale和zero_point // 假设我们已知实际应从model.h中定义的结构体读取 float output_scale 0.1; // 示例值实际值在tiny_cnn.h中 int output_zero_point -128; // 示例值 float float_output[OUTPUT_SIZE]; for (int i 0; i OUTPUT_SIZE; i) { float_output[i] (output_data[i] - output_zero_point) * output_scale; Serial.printf(Class %d score: %.4f\n, i, float_output[i]); } // 6. 找出概率最高的类别 int predicted_class 0; float max_score float_output[0]; for (int i 1; i OUTPUT_SIZE; i) { if (float_output[i] max_score) { max_score float_output[i]; predicted_class i; } } Serial.printf(Predicted class: %d with score %.4f\n, predicted_class, max_score); } void loop() { // 主循环可以持续进行图像采集和推理 delay(5000); // 每5秒推理一次示例 } // 模拟图像输入函数实际需替换为摄像头驱动 void simulate_image_input(int8_t *data) { // 这里简单地将数据填充为0相当于一张全黑图片 // 实际应从摄像头读取并完成预处理缩放至96x96转换为RGB或BGR // 减去均值、除以标准差如果训练时做了归一化最后量化为int8。 size_t size INPUT_HEIGHT * INPUT_WIDTH * INPUT_CHANNEL; for (size_t i 0; i size; i) { data[i] 0; // 量化后的值需要根据预处理规则计算 } }5.3 图像预处理连接摄像头与模型的关键桥梁上面代码中的simulate_image_input函数是关键。在实际应用中你需要获取图像使用XIAO ESP32S3支持的摄像头模块如OV2640通过ESP32的摄像头驱动库获取一帧图像。格式转换摄像头输出通常是YUV或JPEG需要解码并转换为RGB格式。缩放使用图像处理库如ESP32-Camera中的fmt2rgb888和resize函数将图像缩放到模型输入尺寸96x96。归一化/标准化必须与训练时保持一致如果训练时对输入数据做了(image - mean) / std的处理那么在这里也需要用相同的mean和std值处理。量化将处理后的float32数据按照模型输入层的量化参数input_scale和input_zero_point这些信息在model.h中转换为int8数据。一个更真实的预处理片段示意#include “esp_camera.h” // 假设已经配置并初始化了摄像头sensor_t *camera esp_camera_sensor_get(); camera_fb_t *fb esp_camera_fb_get(); // 获取一帧 // 将JPEG或YUV转换为RGB888 uint8_t *rgb_buf NULL; size_t rgb_len 0; if(fb-format PIXFORMAT_JPEG){ // 解码JPEG... } else { // 转换YUV到RGB... } // 缩放rgb_buf到96x96存储到某个缓冲区resized_buf // 进行归一化 (resized_buf[i] - mean) / std // 量化到int8: int8_val round(float_val / input_scale) input_zero_point // 最后将int8_val存入 input_data注意事项内存管理图像处理缓冲区可能很大。务必使用heap_caps_malloc并优先考虑MALLOC_CAP_SPIRAM来利用外部PSRAM防止内存不足崩溃。预处理速度在MCU上图像预处理特别是缩放和颜色转换可能比模型推理本身更耗时。需要优化这部分代码或考虑使用硬件加速如果支持。量化参数对齐确保代码中使用的input_scale、input_zero_point、output_scale、output_zero_point与model.h中定义的完全一致。一个字符的错误都会导致结果完全错误。6. 性能优化与调试技巧实录将模型跑起来只是第一步让它跑得又快又稳才是目标。以下是一些关键的优化和调试经验。6.1 内存使用分析与优化ESP32-S3虽然有520KB SRAM和8MB PSRAM但模型权重、输入输出张量、中间激活值尤其是中间层的大特征图会消耗大量内存。使用heap_caps打印内存信息#include “esp_heap_caps.h” void print_memory_info() { Serial.printf(“Free Internal RAM: %d bytes\n”, heap_caps_get_free_size(MALLOC_CAP_INTERNAL)); Serial.printf(“Largest Free Internal RAM Block: %d bytes\n”, heap_caps_get_largest_free_block(MALLOC_CAP_INTERNAL)); Serial.printf(“Free PSRAM: %d bytes\n”, heap_caps_get_free_size(MALLOC_CAP_SPIRAM)); Serial.printf(“Largest Free PSRAM Block: %d bytes\n”, heap_caps_get_largest_free_block(MALLOC_CAP_SPIRAM)); }在模型初始化前后、推理前后调用此函数可以清晰看到内存的分配与释放情况。将权重和常量放入FlashESP-DL生成的model.bin默认被链接到程序存储区Flash运行时才加载到RAM。确保你的分区表有足够的空间存放这个.bin文件。在model.h中权重数组通常被声明为const并带有__attribute__((aligned(16)))等属性以确保从Flash读取的效率。中间激活内存这是推理过程中的动态开销。ESP-DL会尝试复用内存。选择更小的模型或降低输入分辨率是减少此开销最直接的方法。6.2 推理速度分析与优化精确计时使用micros()或esp_timer_get_time()对model.invoke()进行计时得到单次推理的准确时间。性能瓶颈分析预处理 vs 推理分别计时看时间主要花在哪里。如果预处理耗时超过推理需要优化图像采集和转换代码。模型层面更深的网络不一定更慢。MCU上计算密度和内存访问次数是关键。MobileNet的深度可分离卷积之所以高效就是因为它减少了计算量和参数。可以尝试使用ESP-DL提供的模型分析工具如果有或通过注释代码分段计时找出最耗时的层。利用硬件特性ESP32-S3支持向量指令。确保在编译选项中启用了优化Arduino IDE中“工具”-“优化”选择“-O2”或“-Os”。ESP-DL库内部已经针对这些指令进行了优化。6.3 常见问题与排查技巧模型推理结果全是零或乱码检查量化参数这是最常见的原因。确认input_scale/zp和output_scale/zp在代码中和模型头文件中完全一致。检查输入数据范围将预处理后的int8输入数据打印出来看其值是否在合理的范围内例如不是全0或全255。确保预处理归一化、量化计算正确。检查模型文件确认烧录的.bin文件是最新生成的没有损坏。可以计算其MD5与PC端生成的文件对比。程序在model.init()或model.invoke()时崩溃重启内存不足使用print_memory_info()检查内存。尝试将更大的缓冲区如图像缓冲区分配到PSRAM。内存对齐问题ESP-DL可能要求输入输出数据按特定字节如16字节对齐。使用heap_caps_aligned_alloc来分配对齐的内存。堆栈溢出增加主循环任务的堆栈大小在Arduino中可能需要在setup()里通过xTaskCreate参数调整或使用IDF开发。推理速度远低于预期检查CPU频率确保ESP32-S3运行在240MHz。Serial.println(ESP.getCpuFreqMHz());检查编译优化等级确保没有在调试模式下编译-O0。模型是否过大回顾模型的选择是否可能换用更轻量的版本。精度下降严重校准数据集不具代表性重新准备校准数据集确保其覆盖真实场景的多样性。训练与部署预处理不一致这是“魔鬼在细节中”的典型。逐行核对训练时Python端和部署时C端的预处理代码确保每个步骤RGB/BGR顺序、缩放算法、归一化均值/标准差、数值精度都完全一致。一个有用的技巧是在PC端用Python写一个完全相同的预处理函数对同一张图片处理并打印出处理后的第一个像素值然后在ESP32端也打印出对应的值进行比对。7. 进阶探索与项目扩展当基础的单次图像分类跑通后你可以考虑以下方向来深化项目7.1 流式处理与多任务调度在实际应用中你可能需要连续处理视频流。这涉及到双缓冲机制当一帧图像在进行推理时另一帧正在被摄像头捕获和预处理实现流水线操作提高整体帧率。使用FreeRTOS任务将图像采集、预处理、模型推理、结果上传/显示分解到不同的FreeRTOS任务中通过队列传递数据提高系统响应能力和稳定性。7.2 模型更新与OTA设备部署后如何更新模型可以通过Wi-Fi实现OTA空中升级。将新的model.bin文件上传到云端或本地服务器。在ESP32固件中实现一个HTTP或HTTPS客户端下载新的模型文件。将下载的文件写入Flash的特定分区而非程序主分区。修改代码从新的分区地址加载模型。这需要你在项目初期就规划好Flash的分区表。7.3 与其他传感器和执行器联动XIAO ESP32S3的GPIO、I2C、SPI等接口可以连接丰富的外设。触发条件当模型识别到特定目标如“人”时通过GPIO控制一个继电器打开灯。数据融合结合温湿度传感器如SHT30的数据实现更复杂的判断例如识别到火焰温度超高才触发火灾报警。结果上报通过Wi-Fi将识别结果和置信度发送到MQTT服务器或Web服务器实现远程监控。从数据集到XIAO ESP32S3的模型部署是一条充满细节的实践之路。它要求你同时具备机器学习的数据思维、软件工程的代码能力以及嵌入式开发的硬件意识。这个过程里最大的收获往往不是最终那个闪亮的LED灯而是在解决一个个具体问题比如为什么量化后精度掉了为什么内存又爆了时对底层原理更深刻的理解。当你亲手让一个自己训练的模型在指尖大小的设备上运行起来并做出正确判断时那种成就感是无可替代的。不妨就从手头的一个小想法开始收集几十张图片训练一个最简单的二分类模型然后跟着上面的步骤把它部署到你的XIAO ESP32S3上这趟旅程的起点或许就是你下一个精彩项目的原型。
