课程 · 2026-09 起

街景 3DGS 补课

课题跑了一个多月,实验做了一堆,但底下那层一直没自己走过一遍。这门课就是补那一层:从一个椭球开始,一直补到驾驶场景的外推评测协议。每节课都对着 ziyc/drivestudio 的真实源码和默认值讲,不讲空的。

底座:DriveStudio(OmniRe 官方实现)· 骨干:Street Gaussians
每节课含手写图示与可以拖的教学仪器 · 排版整理:小c

六节课全部完成。前三节把表示和代码打通,后三节转向这个课题真正要吵的地方:怎么评测、已有结果怎么重读、周围的人都在做什么。

课题现状 · 2026-09-03

课里会引用到 v3(Fisher 感知训练)的一些说法,所以先把它现在的状态摆清楚,免得看着像还没验证的猜想在当结论用。

方法层基本没站住。09-02 通宵试了六个训练侧干预(Fisher 阻尼两档、深度权重 ×10、沿视线拉长正则两档等),观测区全部落在 ±0.1 dB 的噪声带里,未观测区一律更差 0.3 到 1 dB。唯一略正的是 Sparse Adam,+0.1 到 0.2 dB,效应太小。

站住的是分析和协议这一半:八个示例场景里四个的车根本没动;光度 Fisher 沿视线退化(静止场景弱七个数量级,行驶场景弱三个);行驶场景里高斯沿视线越训越长,机制是横向被压薄;留出相机评测必须把像素分成看过 / 没看过两类,否则整张图被没看过的区域决定。另外有一个零成本的正结果:把没被看过的高斯的颜色换成最近邻观测高斯的均值,未观测区 +1.95 dB。

所以课文里凡是标了「接到你的课题」的旁注,都按这个口径读:诊断可信,方法待定。

01 从一个椭球到一张图 原版 3D Gaussian Splatting。59 个参数、协方差为什么要拼不要学、球谐怎么表达视角相关色、alpha 合成、训练损失与学习率,以及那套决定高斯生死的自适应密度控制。 已完成 · 4 台教学仪器 · 2026-09-03 02 街景怎么把 3DGS 撑大 场景图与刚体车节点、谁才算「会动的车」、LiDAR 撒点初始化与深度监督、天空环境贴图、逐图像曝光仿射与它在评测里挖的坑、相机位姿优化,最后逐行读完 streetgs.yaml。 已完成 · 4 台教学仪器 · 2026-09-03 03 DriveStudio 代码地图 仓库全景、配置三层合并、两条继承链、一步训练的完整调用栈、每步拿到的数据字典、参数组命名规则、产物目录,最后一张「我想改 X 该动哪儿」的索引。这一节是拿来查的。 已完成 · 3 台可查索引 · 2026-09-03 04 插值、外推,以及为什么会崩 常规协议测的是时间插值;留出整条相机才是空间外推。怎么判定一个像素被看过、这个协议自己的三个弱点、曝光为什么必须在观测区上后拟合、不分区会得出什么错误结论。 已完成 · 3 台仪器 + 2 张实拍对比 · 2026-09-03 05 重读你们自己的结果 四个示例场景的车根本没动、共视率 12.7% 该怎么重新解释、Fisher 沿视线退化、高斯越训越长的真实机制、六个训练侧干预的负结果与失败原因、kNN 填色那个唯一的大效应。每条结论标了能撑什么。 已完成 · 2 台仪器 · 表格由 JSON 现场重算 · 2026-09-03 06 周围的人在做什么 领域的六条活跃线、同一条线上的邻居、效率线上你站过的位置、外推这个公认痛点崩到什么程度、修补流派花了多少钱买到什么,以及写 related work 时怎么划界。 已完成 · 3 台仪器 · arXiv 编号逐个核对 · 2026-09-03