标签：非线性编辑设备

Transformer中的非线性函数近似，怎么在硬件上加速优化？

大家好，我是陈景序，今天我们来聊聊Transformer架构中非线性函数近似的硬件加速优化问题。 在Transformer的大语言模型中，非线性激活函数的计算可是个大头，比如GELU、SiLU、Sigmoid这些，它们在硬件上计算起来...