认知科学与类脑计算 第九章 类脑计算应用 考点压缩

第九章类脑计算应用 — 知识点笔记综合来源课件9-10PDF、课堂笔记CSDN、期末复习课录音占位图超级压缩9.1 神经形态相机事件相机生物启发光感受器的局部自适应增益控制→高动态范围视杆细胞的空间带通滤波器→滤除冗余和噪声ON和OFF脉冲信号编码→提高发放效率感光功能区划分中央凹精细纹理 外周快速运动两大类视觉采样模型类型原理代表设备差分型事件相机亮度变化超阈值→产生事件DVS, ATIS, DAVIS, CeleX积分型脉冲相机累积光强至阈值→发放脉冲Vidar (Spike Camera)事件相机工作原理 ⭐核心公式Clog⁡I(x,t)−log⁡I(x,t−Δt)C \log I(\boldsymbol{x}, t) - \log I(\boldsymbol{x}, t - \Delta t)ClogI(x,t)−logI(x,t−Δt)亮度对数变化超过对比度灵敏度C→触发事件亮度增加→ON事件极性1亮度减少→OFF事件极性-1事件格式(t,x,y,p)(t, x, y, p)(t,x,y,p)— 时间戳(μs)、像素坐标、极性(±1)与传统相机对比传统固定帧率输出整帧图像事件相机每个像素独立异步输出事件流四大核心优势优势原因异步每个像素独立无全局帧率稀疏仅亮度变化处产生事件数据量小高时间分辨率微秒级精度可达1000fps等效远超传统相机高动态范围120dB远超传统相机~60dB应用场景高速运动物体检测与追踪弱光/强光/逆光等极端场景动作识别与行为分析自动驾驶比亚迪天神之眼平台搭载闪拍摄像头场景感知增强【图片事件相机vs传统相机输出对比 — 课件910 第10页】三种传感范式对比生物神经信号SNN事件相机特点异步、事件驱动异步、事件驱动传递异步、事件驱动感光9.2 事件流编码方法 ⭐将异步事件流转换为网络可处理的格式编码方法原理优点缺点适用场景时间计数编码窗口内统计每像素事件次数可分正负极性简单、计算快丢失时间信息高速运动检测二值事件帧窗口内是否有事件→0/1极度压缩、稀疏高效动态信息丢失极简嵌入式Time-SurfaceS(x,y,t)exp⁡(−t−tlastτ)S(x,y,t)\exp(-\frac{t-t_{last}}{\tau})S(x,y,t)exp(−τt−tlast​​)衰减记忆图保留局部时间信息需选τ参数光流估计、特征追踪Time-Surface核心像素值事件新鲜度τ控制衰减率→越小越敏感9.3 语音信号处理应用三个子任务任务目标输出语音活动检测VAD判断是否有人声二分类Voice/Non-voice语音命令识别判断用户说的哪个短命令Up/Down/Left等多分类声源定位判断声音从哪个方向来角度类别1°-360°信号预处理STFT短时傅里叶变换语音→时频谱Mel滤波器组按Mel尺度划分频带符合人耳对低频敏感的特性GCC-PHAT广义互相关相位变换多麦克风相位差→提取声源方向时延特征笔记中的图片索引序号图片内容描述来源位置图1比亚迪闪拍摄像头发布会课件910 第3-4页图2事件相机工作原理log亮度变化课件910 第9页图3传统相机vs事件相机输出对比课件910 第10页图4差分型vs积分型对比课件910 第11页图5事件相机应用场景课件910 第12页图6事件流编码方法对比课件910 第15-17页图7语音处理三任务框架课件910 第19页笔记整理时间2026年6月25日