这个项目展示的是一个GPT风格网络的工作实现的3D模型,也就是在OpenAI的GPT-2、GPT-3,甚至可能是GPT-4中使用的网络拓扑。
首先展示的带有工作权重的网络是一个微型网络,它能够对字母A、B和C的小的列表进行排序。
源码地址:https://github.com/bbycroft/llm-viz
https://github.com/czhixin/llm-viz-cn