Reflection 70B作为自称的开源AI模型之王，其性能在发布后的短短一天内遭到了质疑和指责，称其存在“欺诈”行为。尽管HyperWrite的联创Matt Shumer在社交媒体上称该模型表现卓越，但第三方评估却未能重现其声称的卓越性能。随后的调查显示，模型的权重在上传过程中出现问题，并且对其初始性能的评估存在严重不确定性，引发了广泛的社区讨论和指控。
关键点- Reflection 70B是由初创公司HyperWrite推出的，号称为世界顶级开源语言模型。- HyperWrite的CEO Shumer声称此模型经过“反射调优”训练，提高了多个任务的准确性。- 第三方评估机构Artificial Analysis对该模型的性能进行了独立测试，其结果明显低于HyperWrite的初始声称。- Shumer表示，模型权重在上传到Hugging Face时受损导致性能差异。- Artificial Analysis获悉的私有API测试虽然显示出良好的性能，但与初始声称的水平不符。- 社区用户质疑Reflection 70B的来源，有指控其实际上是Llama 3的变种而非Llama 3.1。- 部分用户公开指责Shumer在AI研究社区中的欺诈行为，引发了广泛讨论。