像大神何恺明与谢赛宁的经典大作 ResNeXt（ResNet 的一种扩展），起名字也是用的这个路数。

　　有网友认为这个名字是实至名归，确实是下一代的产品，将 ControlNet 提高了一个档次。

　　还有人直言 ControlNeXt 是规则改变者，让可控生成的效率提升了一大截，期待看到人们用它创作的作品。

　　可以看到，在 SDXL 中加入边缘（Canny）引导，绘制出的二次元少女和控制线条几乎完美贴合。

　　比如在 SD1.5 中，可以把姿势（Pose）控制条件与各种 LoRA 搭配使用，形成风格迥异乃至跨越次元，但动作相同的角色。

　　在 SD3 当中还支持 Super Resolution（超级分辨率），可生成超高清晰度的图像。

　　而且相比于原始的 ControlNet，ControlNeXt 需要的训练参数更少，收敛速度也更快。

　　而在训练过程中，ControlNeXt 在 400 步左右就已接近收敛，但 ControlNet 却需要十倍甚至数十倍的步数。

　　其中轻量化的关键，是 ControlNeXt 移除了 ControlNet 中的庞大控制分支，改为引入一个由少量 ResNet 块组成的轻量级卷积模块。

　　其中的训练参数量通常不到 ControlNet 中预训练模型的 10%，但仍能很好地学习将输入的条件控制信息，这种设计大大降低了计算开销和内存占用。

　　具体来说，它从预训练模型的不同网络层的中等距采样，形成用于训练的参数子集，其余参数则被冻结。

　　另外在设计 ControlNeXt 的架构时，研究团队还保持了模型结构与原始架构的一致性，从而实现了即插即用。

　　在这个过程中，ControlNeXt 研究团队主要针对两个关键问题进行了深入研究 —— 注入位置的选择和注入方式的设计。

　　研究团队观察发现，在大多数可控生成任务中，指导生成的条件信息形式相对简单，且与去噪过程中的特征高度相关。

　　所以团队认为，没有必要在去噪网络的每一层都注入控制信息，于是选择了只在网络的中间层将条件特征与去噪特征聚合。

　　这样既能确保控制信号影响去噪过程，又避免了注意力机制等复杂操作引入额外的学习参数和不稳定性。

　　这之中的交叉归一化，也是 ControlNeXt 的另一项核心技术，替代了此前常用的 zero-convolution 等渐进式初始化策略。

　　交叉归一化则直接利用主干网络去噪特征的均值 μ 和方差 σ 对控制模块输出的特征做归一化，使二者的数据分布尽量对齐。

　　归一化后的控制特征再通过尺度和偏移参数调整幅度和基线，再与去噪特征相加，既避免了参数初始化的敏感性，又能在训练初期就让控制条件发挥作用，加快收敛进程。

　　此外，ControlNeXt 还借助控制模块学习条件信息到隐空间特征的映射，使其更加抽象和语义化，更有利于泛化到未见过的控制条件。

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

　　大模型加速涌向移动端！ControlNet 手机出图只需 12 秒，高通 AI 掌门人：LLaMA 也只是时间问题

　　ControlNet 大更新：仅靠提示词就能精准 P 图，保持画风不变，网友：效果堪比定制大模型

(责任编辑：管理)