说实话，写预测题和开技术聊聊，我有时候真认定挺抓狂的，就像在没地基的泥地上盖楼。
明明知道目前的 AI 模型已经大到能模仿人类语言，就连能凭概率去猜“多模态分类”要么“小样本学习”能行不中，可摆在我面前的是各种各样的“无监督学习”、“无监督学习”满屏的提示词，我有时候就连质疑是不是自己看错了，是不是自己脑子被文字糊住了。
那种忙乱感，我自己都懒得细想，如何就在那儿一头扎进去了？目前还是得老老实实，对着那些万能的提示词，逼自己把那些乱七八糟的想法理顺。 要说最抓人眼球的，就是那个“小样本学习”的难题。
那会儿我认定只要数据够多、标注够准，模型就能行，可目前一看，数据量根本喂不进去，更别提那些需求精心设计的提示词了。就比如我上个月在搞一个任务，想测试一个模型在极端条件下的表现，我试着给它喂了一堆数据，结局它连根本的分类都分不清楚。我当时真是心里发慌，启动质疑是不是根本没法做小样本学习。结局后来一看，原来是出于我给的提示词忒满，背景信息忒多，直接把模型的注意力给挤没了。
这就像是你给一个刚出生的婴儿喂了一大堆知识，它反而想就寝了。
这个教训让我意识到，目前的 AI 不是不懂，是忒“懂”了，懂得忒多反而变得糊涂了。 再说说那个怪的现象：明明提示词里写着“用数学公式解出来”，可做出来的回答全是那种虚头巴脑的概括，像机器人一样，逻辑清楚但内容空洞，彻底不像人话。我查了一圈资料，发现这跟数学公式本身没关系，彻底是受限于模型本身的训练数据。就像你让一个人用数学公式写诗，最终出来的诗是数学公式的诗，而不是诗的数学公式。
这背后实际上有个原理叫“思维链断裂”，也就是提示词和模型之间的连接断了。
那会儿我认定只要提示词写得长一点、逻辑理顺一点，模型就能自动补全这些缺失的环节，可目前你会发现，即便提示词写得再漂亮，模型还是找不到那个关键的思路。 这让我想起之前我在测试一个多模态分类模型的时候，训练它的任务数据量只有几百条。
那时候我拼命加数据、改提示词，模型还是分不懂。
后来我试着给它喂了一段挺长的、逻辑严密的提示词，让它先分析、再推理，最终给出结论。结局它居然把那些分析过程给忽略了，直接给出了一个我都不看好的结论。我当时真是急坏了，心想难道提示词写得再好也没用？
如何就在那儿胡扯了？后来我静下心来读了一些关于提示工程的资料，发现实际上难题不在提示词本身，而在提示词的结构。目前的模型忒喜爱“先……然后……接着……最终……"这种大段的提示词，但它们实际上更想听的是具体的指令，是明确的步骤。我就试着把提示词改成“用三步法，第一步做啥，第二步做啥，第三步做啥”，结局模型表现好了大量，就连能直接给出结局，不再需求我那么多废话。 再说说那个让人头疼的“无监督学习”难题。
那会儿我当作只要数据够多，模型就能自己学会东西。可目前的情况是，要是不想让人来标注数据，模型自己就学不来。就像你想教孩子认字，你不能只给他看一堆书让他自己认，还得一个个给他讲。目前的 AI 也是这个理儿，你得给它具体的例子，不然它根本没机会动脑子。我最近在研究一个分类任务，想让它不用人工标注，靠自己的经验去分类。结局呢？它反而把那些没见过的、没见过的东西给归类到一起了，就像看到了一堆石头的照片，它就认定它们都是岩石，彻底分不清楚具体的种类。 这个现象让我有点困惑，是不是目前的模型已经忒“智慧”了，连具体的种类都分不清？还是说它的训练方式就是这样的？我后来做了一些小实验，试着给它投喂一些不同颜色的石头照片，让它分类。结局它还是分不清，就连有时候会搞混。
这让我想到一个词叫“泛化本事”，也就是它能不能从训练数据里学会那种通用的规律。可目前的模型，泛化本事简直比狗还差，训练数据里啥都有，见过了啥就认啥，没见过就瞎编。
这就像你给一个刚学会步行的小狗喂它见过的那些草，它还能分辨出来，但要是让它看几片它没见过的叶子，它可能就认不出来了。 这种“无监督学习”的困境，实际上反映了当前 AI 发展中的一个核心矛盾：模型忒能模仿，但忒不懂本质。
你想让它去学那些它没见过的东西，它反而更精通模仿那些它见过的东西。
这让我想起那会儿学过的一个概念，“过拟合”，就是模型记住了训练样本的细节，却忘了学会通用的规律。目前的 AI 就是典型的过拟合，它把训练数据里的所有特征都当成了真理，不管是不是确实。 实际上这事儿我也琢磨不透，或许是出于目前的 AI 训练数据忒多了，数据量大到一定程度，模型就知道如何“偷懒”了。它不需求自己去学那些规律，它只需求把训练数据里的各种模式都套上去就行。
这就像你给一个学生做了一堆数学题，有正数、有负数、有分数、有小数、有点小数，最终它居然能准算出所有题目标答案，但它实际上根本没学过数学，它只是把这些数据里的各种特征都套在了一起。 这让我想起我之前在搞一个实验，想测试模型在“无监督学习”上的表现。我给它投喂了一堆乱码，让它分类。结局它居然能分出一半的东西来，另一半都全错。我当时真是懵了，心想是不是提示词写错了？还是说模型本身就是如此设计的？后来我试着给它加了一些好办的规则，比如“只要有数字就有数字”，它居然就稳得住了。
这说明难题的关键在于它有没有被“教”过具体的规律，而不是有没有被教过如何分类。 这种“过拟合”的现象，实际上也折射出当前社会的一个趋势：人们越来越依赖 AI 来解决难题，但往往忽略了难题本身可能比模型更复杂。就像你让 AI 帮你写一段代码，它可能写得挺完美，但那代码能运行在啥环境里？又是否需求维护？这些难题它都不是。它只是把训练数据里的各种模式都套在了一起，只要模式还在，它就能应付。 这让我想到了一个词叫“黑盒”，也就是我们根本不知道 AI 是如何想的。
你想让它解释为啥如此判断，它居然不知道。
这就像你给一个刚学完单词的孩子解释单词的意思，它可能只会说“出于单词里有那个字母”，彻底不懂实际含义。目前的 AI 就是这样，它把所有训练数据里的模式都当成真理，却压根儿不知道这些模式背后的真正含义。 实际上这事儿我也琢磨不透，或许是出于目前的 AI 训练数据忒多了，数据量大到一定程度，模型就知道如何“偷懒”了。它不需求自己去学那些规律，它只需求把训练数据里的各种模式都套上去就行。
这就像你给一个学生做了一堆数学题，有正数、有负数、有分数、有小数、有点小数，最终它居然能准算出所有题目标答案，但它实际上根本没学过数学，它只是把这些数据里的各种特征都套在了一起。 这种“过拟合”的现象，实际上也折射出当前社会的一个趋势：人们越来越依赖 AI 来解决难题，但往往忽略了难题本身可能比模型更复杂。就像你让 AI 帮你写一段代码，它可能写得挺完美，但那代码能运行在啥环境里？又是否需求维护？这些难题它都不是。它只是把训练数据里的各种模式都套在了一起，只要模式还在，它就能应付。 这让我想到了一个词叫“黑盒”，也就是我们根本不知道 AI 是如何想的。
你想让它解释为啥如此判断，它居然不知道。
这就像你给一个刚学完单词的孩子解释单词的意思，它可能只会说“出于单词里有那个字母”，彻底不懂实际含义。目前的 AI 就是这样，它把所有训练数据里的模式都当成真理，却压根儿不知道这些模式背后的真正含义。