上下文学习是什么?
你不需要重新训练模型,只要在提示里塞进几个例子,模型就能当场「悟」出这个任务该怎么干。上下文学习(In-Context Learning, ICL)就是这样:参数一个都不动,光靠上下文里那点信息,让模型学会一个新任务。它是怎么工作的?
给例子,而不是给规则你不用写一大段「请把英文翻译成中文」的说明,直接给两三组「输入→输出」示范,模型就能照着做。这种手法叫 few-shot(少样本示例)。
注意力都放在例子上
模型生成答案时,会把注意力投到这几个例子上,从中「读出」任务该怎么做,再套用到你的新问题上。
为什么它这么重要?
零成本适应新任务过去让模型干新活儿,得微调——要数据、要算力、要时间。ICL 什么都不用,改改提示就行。
随时切换、随时试
想换个任务?换一批例子就够了。这种灵活性,正是提示工程能流行起来的原因之一。
它有什么局限?
ICL 的效果受上下文窗口限制:例子塞太多会撑爆窗口、还会互相干扰。它也不如微调「记得牢」,每次都得重新给例子。但对绝大多数日常任务来说,它已经足够好用。一句话记住:上下文学习就是「用例子教 AI」——不给规则、不做训练,几个示范就够了。
评论