最新研究揭示，ChatGPT遭受攻击后其参数量被揭露——仅有大约70亿个参数。这一消息出自于南加利福尼亚大学的研究团队，他们利用低于1,000美元的成本成功破解最新版gpt-3.5-turbo模型的秘密。这一结果，似乎在印证OpenAI并非完全开放，其他人亦可为之“敞开大门”。
据该小组宣称，他们成功破解出尚未对外公开的gpt-3.5-turbo嵌入向量维度（即嵌入大小），设定值为4096或4608。值得注意的是，几乎所有已知的开源大模型如Llama及Mistral，在嵌入向量维度4096时均拥有约70亿个参数。如果按照其他比例设置，模型将变得过于稀疏或者稠密，从而影响性能。因此，专家推测gpt-3.5-turbo的参数规模应大致相同，除非采用MoE架构。
几个月之前，微软CODEFUSION论文曾意外透露GPT-3.5模型参数为20亿个，但在随后论文修订版中取消了相关信息。对此，业内人士纷纷进行分析，推断这或许意味着先构建一个真实的高达千亿级别的参数模型，然后通过技术手段压缩成较小的模型，保持大模型的能力。然而，此次得到的70亿，我们尚且不知哪个消息更加准确，或许是模型经过多次压缩。不论如何，这再一次凸显了OpenAI在模型优化方面的强大实力。
突破ChatGPT的防护墙
那么，南加大的研究团队到底是如何破解ChatGPT的未公开配置的呢？这要归功于名为“Softmax瓶颈”的特性。当Transformer网络处理完输入数据后，会生成一个低维的特征向量，也称为Embedding。而经由Softmax函数后，便得到最终的输出概率分布。问题便出在这个Softmax上，因为它受到向量维度的限制，故大模型的输出实际上局限于一个低维的线形子空间内。这在某种程度上相当于，虽然衣橱里藏着满满的衣物，但最后能穿得出去的搭配实际上却是有限的，而且这个"衣柜"的大小则取决于你拥有的 "特征向量维度"。
正是基于此，南加大团队发现，只要取得足够的输出样本，便有望归纳出大模型的特征向量维度。有了这一关键信息，就能推断出模型的参数规模，推导出完整的概率输出，并在API升级过程中及时察觉变化，甚至可以根据某个单独的输出数据确定其来源模型。更为重要的是，反推出特征向量维度所需的样本量非常有限。例如，对于OpenAI的gpt-3.5-turbo，只需收集4,000多个样本即可实现，总花费还不足1,000美元。
在文章的末尾，研究团队还讨论了防范此类攻击的几种常见策略，然而这些方法却或多或少地削弱了大模型的实际应用价值或是成本过高。然而，研究团队也表示，无法完全抵御这种类型的攻击并非全然消极之事。首先，攻击者无法通过此方式获得模型所有参数，事实上，这种攻击的破坏性也十分有限；其次，这将激励大模型API使用者自主检验模型是否发生变化，有助于提升大模型供应方与客户间的信任关系，并促使大模型公司提高透明度。
