上传这个模子的组织叫做「yofo-happyanda」

　　幸运的是，上传这个模子的组织叫做「yofo-happy-panda」，每层可能有MoE由；每个token激活4个）；· 留意力头多达64个，· 大规模MoE设置（128个专家，· 36层Transformer，· 利用RoPE的NTK插值版本，共有三名。gpt属于OpenAI，但也有滑动窗口和扩展RoPE，意味着模子用的是是Multi-QueryAttention（MQA）。