为什么代码测试初创公司Nova AI更多地使用开源LLM而不是OpenAI

人类本性的一个普遍真理是，构建代码的开发人员不应该是测试代码的人。首先，他们大多数基本上讨厌这项任务。其次，就像任何良好的审计协议一样，做工作的人不应该是验证它的人。

因此，代码测试在各种形式中 - 可用性、特定于语言或任务的测试、端到端测试 - 已经成为一大批生成式AI初创公司的焦点。每周，TechCrunch都报道另一个类似的公司，比如Antithesis（筹集了4700万美元）、CodiumAI（筹集了1100万美元）和QA Wolf（筹集了2000万美元）。而新公司也在不断涌现，比如新的Y Combinator毕业生Momentic。

另一家一年前成立的初创公司Nova AI，是一家Unusual Academy加速器的毕业生，已经进行了100万美元的种子轮融资。创始人/首席执行官扎克·史密斯告诉TechCrunch，它正在试图通过打破许多硅谷初创公司运营规则，用其端到端测试工具击败竞争对手。

与标准的Y Combinator方法相反，Nova AI正在瞄准中型到大型企业，这些企业具有复杂的代码库，并迫切需要。史密斯拒绝透露使用或测试其产品的任何客户，除了描述他们大多数是晚期阶段（C轮或更高）的风险投资支持的电子商务、金融科技或消费产品初创公司，“用户体验非常重要。这些功能的停机成本很高。”

Nova AI的技术通过GenAI自动构建测试，对客户的代码进行筛选。它特别针对持续集成和持续交付/部署（CI/CD）环境，工程师们不断将代码片段投入生产代码。

Nova AI的创意来自于史密斯和其联合创始人杰弗里·施的经历，当时他们是大型科技公司的工程师。史密斯是一名前Google员工，曾在云相关团队工作，帮助客户使用大量的自动化技术。施之前在Meta工作（之前还在Unity和Microsoft工作），有罕见的涉及合成数据的AI专长。此后，他们又加入了第三位联合创始人，AI数据科学家亨利·李。

Nova AI还遵循的另一条规则是：尽管大量AI初创公司正在构建在OpenAI行业领先的GPT之上，但Nova AI尽可能少地使用OpenAI的Chat GPT-4。没有客户数据被输入到OpenAI中。

尽管OpenAI承诺收费商业计划用户的数据不会被用来训练其模型，但企业仍然不信任OpenAI，史密斯告诉我们。“当我们与大型企业交谈时，他们会说，‘我们不希望我们的数据进入OpenAI，”史密斯说。

大公司的工程团队并不是唯一持有这种看法的人。OpenAI正面临来自那些不希望它使用他们的工作进行模型训练或认为他们的工作未经授权和未受报酬地出现在输出中的一系列诉讼。

因此，Nova AI更多地依赖像Meta开发的Llama和StarCoder（来自由ServiceNow和Hugging Face开发的BigCoder社区）这样的开源模型，以及构建自己的模型。他们目前还没有与客户一起使用Google的Gemma，但已经测试过，并且“看到了良好的结果，”史密斯表示。

例如，他解释说，OpenAI提供了用于向量嵌入的模型。向量嵌入将文本块转换为数字，以便LLM可以执行各种操作，比如将它们与其他相似文本块聚类。Nova AI不使用OpenAI的嵌入，而是在客户的源代码上使用开源模型进行这项工作。它仅使用OpenAI的工具来帮助生成一些代码和执行一些标注任务，并且竭尽全力不向OpenAI发送任何客户数据。

“在这种情况下，我们部署我们自己的开源嵌入模型，这样当我们需要运行每个文件时，我们不会只是将其发送到OpenAI，”史密斯解释道。

虽然不向OpenAI发送客户数据让不安的企业感到宽慰，但史密斯发现，开源AI模型也更便宜且足以执行针对特定任务的工作。在这种情况下，它们非常适合撰写测试。

“开放LLM行业正在证明它们可以击败GPT 4和这些大型领域提供商，当你限定得很窄时，”他说。“我们不需要提供一个庞大的模型，可以告诉你你的奶奶生日想要什么。对吧？我们只需要撰写一个测试。这就是全部。因此，我们的模型专门针对这一点进行了调整。”

开源模型也在快速进步。例如，Meta最近推出了一个在技术圈中备受赞誉的新版本Llama，这可能会说服更多的AI初创公司看看OpenAI的替代方案。