GStreamer 2（TODO）

TODOgst-launch-1.0 -v \ libcamerasrc ! \ video/x-raw,formatNV12,width640,height480,framerate30/1 ! \ videoconvert ! \ x264enc tunezerolatency bitrate500 key-int-max30 ! \ h264parse ! \ mpegtsmux namemux ! \ tcpserversink host0.0.0.0 port5000 syncfalseSSH 端口开放但目前没有配置免密钥登录本机也没有 sshpass所以规划阶段暂时无法登进树莓派查实际环境——这会作为执行阶段的第一步。在写计划前我先核实两个关键技术事实树莓派 5 的硬件编解码能力、官方 GStreamer 摄像头元素确保学习路线里的例子是对的。网络搜索工具当前不可用额度问题不过不影响规划——树莓派 5 的关键事实我有把握并会在执行阶段用 gst-inspect-1.0 在实机上验证。下面是基于实测现状的完整学习计划。---# GStreamer 学习计划Ubuntu 树莓派 5 双机协同## 一、现状盘点已实测确认| 项目 | Ubuntu 本机 (192.168.124.22) | 树莓派 5 (192.168.124.34) ||---|---|---|| 网络 | 同网段 eth0✅ ping 通 (RTT ~5ms) | SSH 端口 22 开放 || GStreamer | ❌ 完全未装工具、开发包、Python 绑定都没有 | ⏳ 待登录后确认 || SSH 免密 | ❌ 无密钥登录本机无 sshpass | 密码 000000 可用 || 编译工具 | 有 gcc/ninja缺 meson | 待确认 |**树莓派 5 编解码关键特性**学习路线据此设计BCM2712 **移除了 H.264 硬件编码器**Pi 4 有Pi 5 没有只保留 **HEVC 硬件解码**。所以在 Pi 5 上编码用软件 x264encH.264 解码用软件 avdec_h264HEVC 解码可走硬解。这反而更适合学习——软编解码的行为完全透明可观察。具体元素名以实机 gst-inspect-1.0 结果为准。## 二、学习路线5 个阶段约 4~6 周每天 30-60 分钟### 第 0 步环境准备切到 Act 模式后我来做1. **打通 SSH**本机装 sshpass或 ssh-copy-id 配密钥更推荐以后免密码2. **检查树莓派**系统版本、rpicam-hello 确认摄像头、gst-inspect-1.0 列出可用元素重点查 rpicamsrc/libcamerasrc、x264enc、avdec_h264、HEVC 解码元素3. **两台机器装齐**gstreamer1.0-tools base/good/bad/ugly/libav 插件本机另装 python3-gi、libgstreamer*-dev、mesonC 阶段用、gst-rtsp-server 开发包4. **建实验仓库**在工作区新建 gstreamer-lab/含 pipelines/、python/、c/、notes/git 管理每个练习一条笔记### 阶段 1命令行建立直觉约 1 周纯本机核心概念**element / pad / caps / buffer / event / bus / caps 协商**- gst-inspect-1.0 videotestsrc 逐个拆解元素——这是最重要的日常动作- 练习管线测试源预览 → x264enc ! mp4mux ! filesink 录像 → tee 多分支预览录像截图→ textoverlay 叠字 → gst-play-1.0 变速播放- 进阶习惯GST_DEBUG3 观察协商过程gst-discoverer-1.0 分析媒体文件### 阶段 2树莓派出图与编解码约 1 周- 摄像头预览/录像rpicamsrc 或 libcamerasrc ! x264enc ! mp4mux ! filesink- **第一条双机链路**Pi ! x264enc ! rtph264pay ! udpsink host192.168.124.22 → Ubuntu udpsrc ! rtph264depay ! avdec_h264 ! autovideosink- 对比 MJPEG vs H.264 的延迟/画质/码率差异### 阶段 3网络流双机项目1~2 周最有成就感的部分- **项目 A**tee 三分支——Pi 摄像头同时“预览存文件推流”Ubuntu 收流显示并录像- **项目 B**Pi 上写 **RTSP 服务器**gst-rtsp-serverPython 起步Ubuntu/VLC 拉流加 timeoverlay 测延迟- **项目 C**Pi 推 MJPEG 流 → Ubuntu appsink OpenCV 做运动检测- 延迟专题rtpjitterbuffer、latency 属性、GST_TRACERSlatency### 阶段 4编程与阶段 2/3 交错进行- **PythonPyGObject入门**动态管线pad-added 回调、bus 消息处理、appsink/appsrc 与 numpy 互操作——语法简单能快速验证想法- **C 进阶**gst_init/手工构建管线/bus watch 写一个小播放器 → appsink 处理帧 → 最后写一个**自定义 element**如水印用 meson 构建——这是真正理解 GStreamer 内部的一步### 阶段 5进阶选学webrtcbin浏览器直接看 Pi 摄像头、自定义 bin、encodebin/encoding profile、插件编写完整流程## 三、资料- 官方 **Application Development Manual** **20 篇 Basic Tutorials**gstreamer.freedesktop.org/documentation——主线教材边做边读对应章节- 官方 API 文档 design docscaps negotiation、buffering- 树莓派官方 camera 文档每个练习在 notes/ 里记一句心得## 四、双机分工逻辑**树莓派 真实视频源 边缘编码器**摄像头、软编码**Ubuntu 接收端 开发调试机**收流、OpenCV 处理、写代码、看文档——这正好复刻真实流媒体系统的两端学到的直接就是工程能力。---计划的关键取舍**先 CLI 后代码、先 Python 后 C、每阶段都落到两台机器之间的真实项目**避免只看文档不动手。最后确认一个影响细节安排的问题