操作性条件反射与强化程式

一八九〇年代末，哥伦比亚大学的一位研究生把猫关进一只木箱，箱门由一根踏板控制，箱外放着鱼。猫先是抓、咬、挤、叫，乱撞一气；某一次偶然踩到踏板，门开了。再放进去，还是乱撞，但乱撞的时间短了一点。如此反复几十次之后，猫一进箱就直奔踏板。

爱德华·桑代克由此写下效果律：在同一情境中，那些跟随着令动物满意的事态的反应，会与该情境更牢固地联结起来；跟随着令动物不适的事态的反应，联结会被削弱。——这是心理学史上第一次有人用一句可检验的话，说明"学习"这件事究竟发生了什么。

但这句话里藏着一个当时没人觉得是问题的问题："令动物满意的事态"是什么？你没法打开猫的脑袋去看它满不满意。你只能看到它按得更勤了，然后倒过来说，那说明它满意。

三十多年后，一个哈佛的研究生盯上了这个洞。他做的那件事，今天看起来简单得像一次装修：他不再把动物一次次"放进去、拿出来"，而是造了一只可以让动物随时按、按了随时有结果、能连续跑几百小时的箱子；然后在箱子旁边接上一支笔和一卷匀速走动的纸——按一下，笔往上抬一格。

于是"学习"第一次不再是一串轶事，而是一条可以摊在桌上、用尺子量的曲线。

那卷纸叫累积记录器，那只箱子后来被别人叫作斯金纳箱（他本人不喜欢这个名字）。而伯尔赫斯·弗雷德里克·斯金纳（1904–1990）在一九三八年的《有机体的行为》里划下的那一刀，才是这一整篇的起点：

他把行为分成两类。一类是被前面的刺激"引出来"的——光一强瞳孔就缩，酸一入口唾液就分泌，巴甫洛夫的狗听见铃就流口水。这一类他叫应答性行为。另一类不是被谁引出来的，它是动物"发出来"的——鸽子在笼子里走来走去，孩子在地上乱爬，一个人试着换个说法再讲一遍。它没有一个可指认的诱因，但它有后果，而后果会回过头来改变它以后出现的频率。这一类他叫操作性行为，因为它是在对环境进行操作。

这一刀的分量在于它把因果的箭头掉了个头：巴甫洛夫那一路问的是"什么在前面推它"，斯金纳这一路问的是"什么在后面拉它"。心理学此前一直在找行为的原因，斯金纳说，对绝大多数有意思的行为而言，原因在它后面而不在它前面。

把这套东西讲清楚，只需要三句话。

第一句：行为被它的后果塑造。一个动作之后如果跟着某种结果，而这个动作此后出现得更频繁，那么这个结果就在强化它。——注意这句话里没有"因为它喜欢"，也没有"因为他想要"。它只说了两件可观察的事：做了什么，之后发生了什么，以及后来做得多了还是少了。

第二句，也是最反直觉的一句：强化物由效果定义，不由你的判断定义。

这句话的实际杀伤力，要举例才看得清：

一个在课堂上捣乱的孩子，每次捣乱都被老师当众训一顿。训斥当然不是奖励——除非你去数一数：这个孩子的捣乱是变少了，还是变多了？如果变多了，那么无论那顿训斥听起来多么严厉，在这个孩子这里，它就是强化物。他要的可能只是那三十秒里全班的目光。

反过来同样成立：一个下属提出了一个不太成熟的想法，你耐心地、详细地、当着大家的面把它的问题一条条讲清楚。你以为你在指导。三个月后他不再提想法了——那么在功能上，你做的是惩罚。

你以为的奖励未必在强化，你以为的惩罚可能正在强化。唯一的判据是频率，不是意图。

第三句，是这一篇真正值钱的地方：起决定作用的往往不是强化物的大小，是它到来的方式。

先记住两个可以随身带走的事实。其一，每次都给（连续强化），学得最快，也消失得最快——一旦停止，行为很快就没了。其二，不定期地给、平均若干次给一次、但具体哪一次说不准（变比率），学得慢一点，却产出最高、最持久、几乎无法消退。

为什么？因为在变比率程式下，"这次没有"从来不构成"以后也没有"的证据。动物——以及人——在这种程式里学到的恰恰是：没中，说明下一次更接近了。

这就是老虎机的数学，也是下拉刷新的数学，也是抽卡的数学。它们没有一个是靠"奖励很大"起作用的；它们靠的是"说不准"。

还有两个配套现象，第八节会反复用到。其一是消退爆发：当一个长期被强化的行为忽然不再被强化，它不会立刻消失，而是先变得更频繁、更用力、更激烈，然后才衰减。其二是部分强化消退效应：断断续续被强化过的行为，比一直被强化的行为更难消退。——把这两条合起来，你就得到了一条关于人际关系的冷知识：一个你偶尔才让步一次的要求，会比一个你每次都答应的要求，纠缠得久得多。

这一节的分量在于它的来源：下面前三条批评里，有两条来自斯金纳自己的学生和自己的实验范式，而它们各自否掉了这套理论的一条地基假设。请先记住一个分寸——没有一条反例否认"后果会改变行为"这件事，它们否认的是它的普适性、它的机制解释、以及它可以被推到多远。

• ① 它长期把"学习"与"表现"混为一谈。托尔曼与洪齐克 1930 年的潜伏学习实验已经说明：没有任何强化的老鼠照样在学迷宫，只是不表现出来；一旦给了理由，成绩立刻显形。
  换句话说，强化改变的主要是"做不做"，而不必然是"会不会"。一个只统计行为频率的框架，看不见那些已经学会、但暂时没有理由做出来的东西。
  这一条今天在管理和教育上仍然天天在犯：把"没做出来"读成"不会"，于是去培训；而问题常常在于做出来之后什么也没发生。——反过来同样成立：加了激励之后立刻见效，往往说明大家早就会，缺的只是理由。
• ② 动物不是白纸：等势性假设被两次实验打穿，其中一次来自斯金纳自己的学生。这套理论早期的默认前提是任何反应都可以与任何后果任意配对——这被称为等势性。
  凯勒·布雷兰与玛丽安·布雷兰是斯金纳的学生，靠训练动物做商业表演为生；正是这门生意让他们撞上了理论的墙。他们训练浣熊把硬币投进存钱罐，浣熊却越来越顽固地把两枚硬币互相搓洗、迟迟不肯放手；训练猪做同样的事，猪最后总是把硬币用鼻子拱到地上翻来覆去。——这些动作不但没有被强化，反而延误了它们拿到食物，可它们照做不误。1961 年他们把这些失败写成论文，标题是对斯金纳那本书的直接戏仿：《有机体的误行为》，并造了一个词：本能漂移。
  另一记来自加西亚与科林 1966 年的味觉厌恶实验：老鼠可以在一次配对、且间隔数小时的情况下学会厌恶某种味道；但同样的间隔下，它学不会把声光信号与恶心联系起来，反倒能轻易把声光与电击联系起来。
  结论是硬的：什么能与什么配对、需要多少次、能隔多久，由物种的演化史决定，不由程式决定。
• ③ 最著名的那个实验，被重做之后翻了案。斯塔顿与西默尔哈格 1971 年在《心理学评论》上重做了"迷信的鸽子"，做得更细：他们不只记录动作，还记录动作出现在两次落食之间的哪个位置。
  结果与斯金纳的图景对不上：鸽子在食物快来的那一段时间里做的事高度一致——几乎都是啄；各不相同的那些古怪动作，出现在刚吃完、离下一次落食还远的那一段。他们把前者称为终末行为，后者称为间隔行为，并主张这两类都是该物种在等待食物时预置的行为序列，而不是"碰巧在做什么就被雕刻下来"的个体迷信。
  该带走的不是"所以斯金纳错了"，而是一个更普遍的教训：一个解释之所以能流传半个多世纪，靠的常常是它好懂、好讲、好迁移，而不是它经受住了最细致的那一次重做。这条案例与 №030 的金字塔、№032 的破窗是同一类病例。
• ④ "由效果定义"带来循环的危险；而拒绝谈论内部状态，让它在语言面前失了手。强化物由效果定义——行为增加了，所以那是强化物；那是强化物，所以行为增加了。斯金纳的辩护是：这个循环不是恶性的，因为一个被认定的强化物可以在别的情境、别的行为上被独立检验；这条辩护在实验室里成立。
  但走出实验室，它经常退化成事后命名：任何做了的事都可以说"一定是被什么强化了"，而这个"什么"从不需要被事先指出来。一个无论看到什么都能解释的框架，什么也没有预测。
  1959 年，一位年轻的语言学家在《语言》杂志上为斯金纳的《言语行为》写了一篇书评，论证强化史无法解释儿童在极有限的输入下产出无穷多合乎语法的新句子。这篇书评常被当成"击溃行为主义"的判决书，而行为分析学界至今认为它误读了斯金纳的论点（麦考奎代尔 1970 年发表过一篇著名的回应）。无论谁对，此后半个世纪心理学的实际走向是认知的。相关见 №055。
• ⑤ 最贵的两种误用，方向正好相反。
  其一是把它读成"人可以被控制"的说明书。斯金纳本人的《瓦尔登湖第二》与《超越自由与尊严》引发了持续数十年的伦理战，他被指控要取消人的自由与尊严。而讽刺的是，这套技术今天最成功、最大规模的落地，并不在他设想的学校与社区里，而在被工程化进产品的那些变比率程式里——它确实被用来控制人的行为了，只是不由心理学家来做。
  其二是"奖励万能"。对本来就有内在动机的行为施加外部奖励，常常反而削弱它——奖励一撤，热情也一起被带走。请注意这一条的分寸：它不否认强化有效，它说的是"用外部奖励去买一个人本来就愿意做的事"这笔交易经常亏本。完整的讨论见 №049。

最后补一条方向相反的，免得这一节读成清算：这套东西最结实的部分，从来不是它的哲学（激进行为主义作为一种关于心智的立场，今天几乎无人再持），而是它的方法——它把"后果如何改变行为"变成了可测量、可复现、可工程化的东西。今天的强化学习、行为经济学的助推设计、循证的行为干预、应用行为分析，全都站在这套方法上；而斯金纳本人在 1981 年那篇《由后果决定的选择》里，把它与自然选择、文化演化并列成三层同构的选择过程——那是他留下的最开阔的一个想法。

先标明分寸：第一、二、四条有直接的实验依据（强化物的功能定义、程式效应、消退爆发），第三条是定时距程式的现实版，第五条是边界提醒。第六节②对以下全部有效——人不是白纸，任何"只要设对奖励就能塑造出任何行为"的说法都超出了这套理论的能力。

• 改行为，先改后果；而"后果"要看效果，不看你的本意 想改掉一个行为，与其追问"他为什么这样"，不如先问：这个行为每次出现之后，实际发生了什么？
  判据只有一个——三个月后这个行为是多了还是少了。多了，说明它正在被某样东西强化，无论你把那样东西叫作奖励还是批评。最常见的三个现场：吵闹的孩子换来了全神贯注的注意；抱怨的员工换来了任务被拿走；你发一次火对方就顺从了一次——那一次顺从，强化的是你的发火。
• 程式比大小更要紧 这是本篇最有实验依据、也最少被利用的一条。想建立一个新习惯：一开始每次都给（哪怕只是划掉一个格子），等它站稳之后，把强化变得稀疏而不定期。连续强化建得快、塌得也快；断续强化建得慢，但极其难消退。
  反过来，想戒掉一个行为，先认出它现在挂在哪种程式上。如果它的回报是"说不准什么时候来"（刷手机、买彩票、给某个人发消息等回复），那你对抗的不是自己的意志力，是一套专门为难以停止而设计的数学——正确的动作不是下决心，而是把程式改掉：关掉通知，把随机变成定时。
• 扇贝形：截止日前的突击不是道德问题 只在固定时点结算的规则，必然产出定时距程式那条曲线——刚结算完几乎不动，越近截止越急。期末考试、季度业绩、年度述职，全都是同一条扇贝。
  所以处方不是"提高自制力"，而是改结算规则：把一个远期的大截止日，拆成若干个近的、真实的、有人看的小交付。注意"有人看"这三个字——一个没有任何后果的自设期限，不是一次结算。
• 消退爆发：最凶的那一下，恰恰是快要结束的信号 这可能是本篇最实用的一条。当你停止强化一个长期被强化的行为，它不会立刻消失，而是先变得更频繁、更大声、更激烈，然后才衰减。
  不知道这条规律的人，往往正好在最凶的那一刻让步——而那一次让步，把这个行为从"每次都有"送上了变比率程式，从此更难消退。
  适用现场：孩子的哭闹、反复的纠缠与催促、把小事升级成危机的沟通方式，以及你自己戒某样东西的第三天。要么事先想清楚不让步并准备好扛过那一段，要么干脆不要开始——最糟的做法是扛到一半再让步。
• 两条边界：别买本来就免费的东西，也别以为知道就能免疫 其一，不要用外部奖励去买一个人本来就愿意做的事——那笔交易经常是亏的，奖励一撤，原来的热情也被带走（№049）。外部强化最适合用来启动一个还不存在的行为，而不是维持一个已经存在的热情。
  其二，知道自己正在被某种程式驱动，并不会让你免疫。你知道那是变比率，手指照样会去下拉刷新。可操作的从来不是"意识到"，而是改掉那个程式本身：把随机变成定时，把即时变成延迟，把一步之遥变成多几步——这些改动小到不需要意志力，而它们改的正是那套数学。

• B. F. Skinner《The Behavior of Organisms: An Experimental Analysis》 Appleton-Century, 1938 — 原典。应答性行为与操作性行为的划分、强化物的功能定义，都在这里；今天读它最大的收获可能不是结论，而是看一个人如何把"学习"改造成一个可以连续读数的量
• C. B. Ferster & B. F. Skinner《Schedules of Reinforcement》 Appleton-Century-Crofts, 1957 — 本篇第二张原典卡的出处；近七百页、几乎全是累积记录曲线的一本书。不必通读，翻十页曲线就够——你会亲眼看见"同一只鸽子换一种给法就换一副面孔"
• B. F. Skinner《Science and Human Behavior》 Macmillan, 1953 — 面向一般读者的系统陈述，也是他把这套框架推向教育、治理与文化的起点；与《Beyond Freedom and Dignity》（Knopf, 1971）合看，能明白第六节⑤那场伦理战究竟在争什么
• Keller Breland & Marian Breland《The Misbehavior of Organisms》 American Psychologist, Vol. 16, 1961, pp. 681–684 — 本篇最推荐的批评文献，只有四页；由斯金纳自己的学生写下，标题是对《The Behavior of Organisms》的直接戏仿。被商业上的失败逼出来的观察，往往比实验室里的成功更诚实
• J. E. R. Staddon & V. L. Simmelhag《The "Superstition" Experiment: A Reexamination of Its Implications for the Principles of Adaptive Behavior》 Psychological Review, Vol. 78, No. 1, 1971, pp. 3–43 — 请与本篇案例 02 对照着读：一个被写进每本教科书的经典实验，在被更细致地重做之后是什么样子
• R. J. Herrnstein《Relative and Absolute Strength of Response as a Function of Frequency of Reinforcement》 Journal of the Experimental Analysis of Behavior, Vol. 4, 1961, pp. 267–272 — 匹配律的原始论文；从"行为如何被塑造"到"时间如何被分配"的那一步
• Noam Chomsky《A Review of B. F. Skinner's Verbal Behavior》 Language, Vol. 35, No. 1, 1959, pp. 26–58 — 认知革命的开场枪之一。请连同行为分析学界的回应一起读（麦考奎代尔 1970 年发表于《行为实验分析杂志》的那篇最著名），不然你读到的会是一场只有一方发言的辩论
• B. F. Skinner《Selection by Consequences》 Science, Vol. 213, 1981, pp. 501–504 — 四页；他把自然选择、行为的强化、文化实践的存续写成三层同构的选择过程。这大概是他留下的最开阔的一个想法，也是本篇与 №021、№066 的接口
• 维基百科：Operant conditioning / Reinforcement en.wikipedia.org/wiki/Operant_conditioning — 索引入口；另可参见 Schedules of reinforcement、Instinctive drift、Matching law、Latent learning、Token economy 五个条目