人类的输入————完成！

译码器deder，负责生成回复————完成！

自注意力self—attention，负责捕捉字词之间的语义关联——完成！

交叉注意力cross—attention，负责连接输入与输出————完成！

那些曾经刻在他脑海深处的知识，在经过了几个月的沉淀后，终于迎来了绽放。

他完全不需要思考，因为他早已思考过无数遍。

他也不需要停顿，因为他不仅是在编写一篇文章和代码。

他是在复刻未来的文明。

但他也不是在默写。

相比2017年原始的transforr架构，他添加了几年后的一次改进。

他将层归一化（yernoralization）的位置，从残差连接之后（post—

ln），移到了残差连接之前（pre—ln）。

这只是一个微小的改进。

但它却彻底解决了深层网络难以训练的顽疾。

它让梯度的反向传播不再需要复杂繁琐的学习率预热，就能让模型在训练初期保持绝对的稳定。

终于，在他感觉精神力到达极限的时候，论文和代码同时完成了。

吴辰深吸一口气，敲下了最后一行代码。

returnlogits。。

这就是gpt—1的雏形。

他实现了完整的transforr库。

但在构建gpt模型时，吴辰还是果断抛弃了编码器，只保留了纯译码器架构（deder—only）。

因为即使现在深圳的榛果电子已经在生产专用的计算卡，但性能还是和2025

年差距太大。

所以这样做可以显著减少模型参数量和计算复杂度，但功能却完全够用。

无论如何。

虽然它现在的参数量还很小。

虽然它还象个婴儿一样嗷嗷待哺。

但吴辰知道，那个属于人工智障的时代结束了。

硅基生命，有了它的第一缕神识。

这一刻，在这个2008年的狭小公寓里。

通往通用人工智能的大门，被他提前九年，暴力踹开了。

丁铃铃。

当他双手离开键盘的刹那，手机的闹钟也响了起来。

吴辰拿过来一看，发现时间竟然已是早上六点，到了他每天起床锻炼的时间了。

与此同时，系统的声音也如期响起。

【恭喜宿主人工智能等级提升！】

👉&128073; 当前浏览器转码失败：请退出“阅读模式”显示完整内容，返回“原网页”。