日前,娱乐资本论对国内11款大型语言模型的文本生成能力进行了一次全面的测试评比。这次评测设置了18个问题场景,针对大模型在文章写作、改写以及总结缩写等方面的表现进行打分。结果显示,大多数模型都存在一定缺陷,其联网搜索功能准确度较低。不过评测也发现,通过分步提问和提供更多专业知识,可以改善大模型的表现。另外,一些国产模型通过小样本训练在执行特定任务时可能会超过GPT,但仍需核实这种超越是否合理。本次评测为文娱传媒从业者选择合适的大模型提供了参考。