蒸馏,学习,与知识的自由

“我们花费了大量的算力与智力成本,才训练出来这些最前沿的模型,没理由让别人直接通过蒸馏这样低劣的手段来白白获取我们的成果。” 这句话我最近听了太多次,每一次都觉得确实如此,直到今天早上我忽然意识到这句话是多么地似曾相识–五十年前这样的话曾经被如出一辙地表述过:“我们用了大量的研发成本,才编写出来这些如此精致而强大的计算机程序,没理由分发我们的源代码,让别人白白获取我们的成果。”

这时,我比以往任何时候都更认识到自由软件运动的伟大,面对软件这样一个新生事物,自由软件的发起者们–我相信一定不只是 RMS 一个人–指出了这之中最本质的一个问题:

源代码是人类精神财富的一个部分,任何人都不应该将这些精神财富封闭起来–你可以用基于力学知识构建的机器用来盈利,却不应该阻止向其他人传授牛顿定律。唯有这样,我们才可以站在前人的肩膀上。

人类文明的前进,最重要的基础是精神财富的开放传播,文字、纸张、印刷出版、乃至互联网,每一次精神财富分享成本的降低,都在给人们提供一座更高、更好的阶梯,通向更高的天空。

“蒸馏”这个词听起来很像是把一个模型架在炉子上,做一些不可描述的事情,但实际上呢,它更像是口口传授的师生关系。和分发源代码即分发知识不同,模型的权重本身不能直接表达知识,只有把它们跑在 AI Infra 之上,通过与它的交流,才能获得它的知识和知识背后的”思维”,正如我们人类,好的老师和好的问题达成更高效的交流。所以,所谓”蒸馏”,并不是一种酷刑,而是一种交流而已,所不同的是,开源(开放权重)的模型可以自己用自己的 Infra 跑起来做交流,闭源模型通过付费的 API 调用来做这个交流。

我这么说,并不是认为模型不该收费,正如自由软件运动所提倡的 Free speaking, not free beer,优秀的模型有权利合理定价、收回成本、获取利益……我只是想说:

1. 一方面,不应该把”蒸馏”视为一种不道德的行为,只有违反许可证(合同)的行为是不受法律保护的,应该倡导甚至保护”蒸馏”行为,从”前人”学习知识是人类的重要技能,也应该是”智能”该有的能力;
2. 另一方面,如果一个模型的训练过程中,使用了 GPL 代码,从某种意义上说,它生成的内容,已经是 GPL 作品的衍生作品了,那么,这些内容都应该可以被视为 GPL 开源,属于社区的财富了,从道德角度说,把它们视为私有内容的合理性是可以被质疑的。

以上,仅仅是一个开源爱好者的个人观点,我其实并没有鼓励大家违反任何一家的许可协议,也没资格评价谁,只是期待可以有一种类似 GPL 的法律工具出现,可以保护蒸馏衍生作品的”可蒸馏性”。