多元微积分、梯度与自动微分

核心概念

对标量函数 $f(\mathbf{x})$，梯度为：

向量函数 $\mathbf{y}=g(\mathbf{x})$ 的雅可比矩阵为 $J_{ij}=\partial y_i/\partial x_j$。复合函数使用链式法则：

在游戏里，梯度可用于轨迹优化、相机/灯光参数拟合、IK 目标、材质或神经表示优化；普通实时玩法仍常用显式几何和数值方法，因为可控性、成本和稳定性更重要。

自动微分的两种方向

• 前向模式：同时传播变量值和导数，适合输入维度小、输出多的函数。
• 反向模式：先前向记录中间值，再从输出反向传播伴随量，适合参数多、标量损失少的优化问题。

反向模式需要保存中间状态，显存/内存和控制流是主要代价；原地修改、不可微分分支和浮点误差会破坏梯度或使其不稳定。有限差分可作为黑盒校验，但步长过大有截断误差，过小有消减误差。

应用：从图形参数到损失

flowchart LR
    P["场景参数"] --> R["可微计算/渲染"]
    R --> L["损失函数"]
    L --> B["反向自动微分"]
    B --> G["参数梯度"]
    G --> U["优化器更新"]
    U --> P

工程上应同时记录参数范围、损失定义、梯度检查、学习率/步长、收敛条件和失败回滚。对旋转、归一化、深度和可见性等操作，先确认导数定义与数值稳定性，再接入优化。

取舍与常见坑

• 把 AD 当黑盒魔法：仍需理解计算图、导数方向、内存和数值稳定性。
• 用梯度优化一切：离散状态、碰撞、排序和硬可见性可能不可微，应采用平滑近似或混合求解。
• 忽略尺度：不同参数量纲会造成病态梯度；需要归一化、预条件或合适参数化。
• 只看损失下降：还要检查约束、视觉质量、实时预算和泛化行为。