快科技10月20日消息，据媒体报道，NVIDIA的最新研究可能彻底改变AI的未来，其研究团队提出了一种名为归一化Transformer 的新型神经网络架构。
这一架构在超球面 hypersphere 上进行表示学习，能够显著提升大型语言模型 LLM 的训练速度，最高可达20倍，同时保持了模型的精度。
架构的核心在于将所有向量，包括嵌入、多层感知机 MLP 、注意力矩阵和隐藏状态，归一化为单位范数。
这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。
实验结果表明， 在训练时所需的步骤比标准Transformer模型减少了4到20倍，具体加速效果取决于序列长度。
例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。
研究人员指出， 的优化路径从超球面上的点开始，通过位移来贡献最终的输出预测，其中位移量由MLP和注意力模块定义。
这种方法不仅提高了训练速度，还增强了模型的稳定性。
温馨提示:微信搜索公众号【深圳之窗】,关注后在对话框内回复【资讯】即可获取深圳的各种资讯内容,包含深圳入户,深圳天气,深圳交通,深圳人文,同时,扫描关注文下企微号,可以了解深圳近期的各种福利活动优惠等信息
版权与免责声明:
感谢您访问我们的网站。请在阅读本免责声明之前注意以下内容：
1.该文章主要收集于互联网，目的在于传递更多信息，并不代表本网赞同其观点或证实其内容的真实性。
2.本网站的所有信息仅供参考，不构成任何形式的建议或指导。用户应自行承担使用本网站信息的风险。
3.该文章主要来源于互联网,如发现本网站上的文章涉及侵权问题时，建议您立即联系本网站的站长或管理员进行删除处理。
分享到
