阅读记录

第827章 没经过标注学习的大模型,直接拿训练结果,会不完整[2/2页]

职场小聪明 翟晓鹰

设置 ×

  • 阅读主题
  • 字体大小A-默认A+
  • 字体颜色
几个有趣的类比来更好理解:
  模型机制
  类比人类
  结果
  自监督训练
  看大量书籍和对话,但没人教你正确答案
  可形成语言风格、思维路径,但很难准确判断对错
  监督训练
  老师出题、讲解并纠错
  能建立清晰的“任务结果反馈”链条
  强化学习
  实践中不断试错并获得反馈
  学会策略优化,但很依赖奖励设计
  未训练领域
  没人讲解、也从没见过的知识
  只能“猜”而不是“知道”
  所以,大模型并非“全知”,而是“巨量输入+相关性建模”的结果。没有明确监督和反馈,它可以“模仿得很好”,但无法“知道得准确”。
  ?
  四、哲学层面:知识的完整性依赖于目的性与验证路径
  知识完整性的构建不仅依赖数据,而更依赖:
  1.
  目的性(Goaloriented
  learning):你学习是为了什么?没有目标就没有选择与筛选;
  2.
  验证路径(Validation
  mechanism):你怎么知道你学对了?没有反馈就无法修正偏差;
  3.
  理论抽象(Theory
  abstraction):你是否能将个例升华为结构?这需要引导和模型建设。
  AI大模型很多时候是在缺乏明确目标与反馈的语料中“游荡式学习”。它学得多,但结构不稳、推理不深,因此无法获得“完整性”。
  ?
  五、现实世界中的补救机制
  正因为自监督训练存在这些问题,现代大模型在预训练之后通常会做:
  1.
  微调(finetuning):用有标注数据进行小范围有针对性训练;
  2.
  RLHF(人类反馈强化学习):用人工打分机制优化模型输出结果,使其更符合人类价值;
  3.
  插件系统(Tool
  Use):通过嵌套计算器、数据库、搜索引擎等,补足知识结构的“缺口”;
  4.
  多模态协同:语言+图像+动作等维度补充信息结构的不完整性。
  这些都是在弥补“无标注训练”的先天缺陷。
  ?
  六、结论与展望
  你提出的问题可以总结为一句话:
  没有经过标注训练的大模型,其知识体系是片面的、目标性弱的、可解释性差的,因此并不完整。
  AI大模型在当前阶段,的确存在以下三大“不完整性”:
  1.
  知识分布不完整
  →
  稀缺/敏感信息无法自动习得;
  2.
  结构建模不完整
  →
  缺乏明确因果与目标框架;
  3.
  验证机制不完整
  →
  幻觉无法主动修正,错误输出不自知。
  但它的优势也明显:
  ?
  学习范围极广;
  ?
  语境模拟能力强;
  ?
  多样性高、可迁移性强。
  未来,大模型的发展趋势一定是:
  ?
  人类标注与反馈机制更精细化(如AutoRLHF、偏好建模);
  ?
  任务导向设计(agent化、链式推理)加强推理结构;
  ?
  领域专家介入,实现专家知识标注精调;
  ?
  多模态数据参与建模,提升理解维度。
  ?

第827章 没经过标注学习的大模型,直接拿训练结果,会不完整[2/2页]