机器之心报道
机器之心编辑部
这就是GPT的「抽象」，和人类的抽象不太一样。
虽然ChatGPT似乎让人类正在接近重新创造智慧，但迄今为止，我们从来就没有完全理解智能是什么，不论自然的还是人工的。
认识智慧的原理显然很有必要，如何理解大语言模型的智力？OpenAI给出的解决方案是：问问GPT-4是怎么说的。
5月9日，OpenAI发布了最新研究，其使用GPT-4自动进行大语言模型中神经元行为的解释，获得了很多有趣的结果。
可解释性研究的一种简单方法是首先了解AI模型各个组件（神经元和注意力头）在做什么。传统的方法是需要人类手动检查神经元，以确定它们代表数据的哪些特征。这个过程很难扩展，将它应用于具有数百或数千亿个参数的神经网络的成本过于高昂。
所以OpenAI提出了一种自动化方法——使用GPT-4来生成神经元行为的自然语言解释并对其进行评分，并将其应用于另一种语言模型中的神经元——此处他们选择了GPT-2为实验样本，并公开了这些GPT-2神经元解释和分数的数据集。
论文