校验大模型的产出

基本的思想是“正交地做两次”。

• 随意，不用验收

• 机器evalue

  • 大模型自己打分
  • 用另外一个大模型打分

• 人简单看一眼

• 直接校验

  • 代码？跑起来
  • 做N次

• 让它检查自己的错误 —— 应对幻觉？ [2207.05221] Language Models (Mostly) Know What They Know (arxiv.org)

  • 人是怎样的呢？
    • 容易陷入自己的错误
    • “正交地做两次”
      • 量纲检测
      • 常识
  • 最明显的，就是把问题改成选择题
    • 你可以考虑“错误欺诈”。就是跟chatgpt说它的答案有问题，或者温和点，让它自己检查一下错误。这种方式虽然有趣，但是并非最优。
    • 你还可以让它给出一个“自信分”。它回复的形式可能有：“9/10”、80%、甚至“因为xxx，我无法给出自信分”
  • 让它解释自己的答案？
    • 评估答案（Answer by starting with "Analysis":）
      • [2305.01937] Can Large Language Models Be an Alternative to Human Evaluations? (arxiv.org)
      • [2310.05657] A Closer Look into Automatic Evaluation Using Large Language Models (arxiv.org)
    • 2205.03401