不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
代码:
如何看待《捞女游戏》在线人数峰值近 7 万,仍位居国区热销第一?
为什么中国开发不出流行的编程语言?
为什么我儿子把水倒翻了,我让他先擦干净再看电视,他宁愿哭得嗓子哑了也不擦?
什么是 AI Agent(智能体)?
怎么看待三十而已里说的养鱼让人玩物丧志,养鱼是魔鬼,是黑洞,养鱼毁三代鱼缸毁一生的话?
在办公室用机械键盘是什么心里?
SwiftUI 是不是一个败笔?
有没有用过GOOVIS的?
中了 2 亿你会辞去工作吗?
如果世界是虚拟的,当两个镜子对面放,将会无限反射,会不会将 cpu 算力耗光?
伊朗距离以色列上千公里,发射的导弹靠什么来导航定位呢?美国的GPS不会让他们用的。?
ant-design-vue 社区为什么不维护了?
Node.js 性能为什么这么差?
20届设计系,我的设计水平很差吗,找不到合适的工作?
中国军事力量有希望达到全球第一吗?
为什么现在很多人推崇国外原版教材?
那你说什么样的是美女?
有个学舞蹈的女朋友是什么体验?
哪张照片让你觉得刘亦菲美得不可方物?
如何评价 Zed 编辑器?
NextJS的全栈能力现在如何了?
小米澎湃OS和华为鸿蒙OS,他们有什么不一样,谁更有发展前途?
不同公司的云服务器在使用上差别大么?
Linux 下有没有类似 Everything 的搜索工具?
为什么现在的年轻人宁愿自己工资低点,也要过得舒服、不那么累?
你从别人的旧硬盘里发现了什么有趣的东西?
买到烂尾楼到底该有多绝望?
真的没有人觉得2k是一个很尴尬的分辨率吗?
为什么明明身边二胎非常普遍,但从人口统计数据看,人口依然是在减少的?
obsidian用一两年后会有多大?全文搜索还快吗?