From 1317a340f9d1a0ab143257fbe8b4150b6103fe09 Mon Sep 17 00:00:00 2001 From: Denis Drobyshev Date: Sun, 23 Aug 2026 13:20:33 +0300 Subject: [PATCH] Write the note at the length the README promises The first note ran to about a screen. The README promises a note is readable without the original open, and a screen does not do that - it produces the abstract-with-links shape, which is a bookmark with paragraph breaks. Roughly three times longer now, and longer in specific places rather than padded: The TD algorithm is stated properly, with the equation and what each term means, plus the three properties of the error that the recordings are then matched against. Previously the note assumed the reader already had this. The causal evidence is in. Steinberg's blocking experiment is what upgrades the claim from "looks like an error signal" to "acts like one" - dopamine neurons activated where the theory says the error should be zero produced learning about a cue that blocking should have prevented. The old note said the design was correlational and left it there, which was true in 1997 and has not been true since 2013. The complications get a subsection each with their mechanism explained, rather than a paragraph apiece: heterogeneous populations, the distributional code and why an asymmetric neuron converges on a quantile rather than a mean, and striatal ramping as a measurement still in tension with the simple story. "What would change this note" now names concrete results instead of gesturing. Two more sources, both verified against Crossref before use: Sutton 1988 for the algorithm, Howe 2013 for ramping, alongside Steinberg 2013. CONTRIBUTING gains a section on how long a note is, so the expectation is written down rather than remembered, and templates/note.md grows the sections that shape it - background, what the design cannot establish, one subsection per complication. --- CONTRIBUTING.md | 28 +++ .../notes/dopamine-reward-prediction-error.md | 237 ++++++++++++++---- .../dopamine-reward-prediction-error.ru.md | 236 +++++++++++++---- templates/note.md | 47 +++- 4 files changed, 446 insertions(+), 102 deletions(-) diff --git a/CONTRIBUTING.md b/CONTRIBUTING.md index e326fe3..5af5a1c 100644 --- a/CONTRIBUTING.md +++ b/CONTRIBUTING.md @@ -45,6 +45,34 @@ editing one file rather than two. `mkdocs build --strict` will not catch that on its own: a page outside the navigation is an INFO line it prints before building the site anyway. +## How long a note is + +Long enough to be read instead of the paper, not long enough to be read instead +of thinking. + +The README promises a note is readable without the original open. That rules +out the abstract-with-links shape, which is the one that comes out if you write +quickly: a claim, a gesture at the evidence, a conclusion. It is a bookmark +with paragraph breaks. + +A note that keeps the promise usually has to: + +- **explain the mechanism, not only the finding.** If the result depends on an + algorithm, the algorithm gets stated - the equation if there is one, and what + each term means. A reader should not have to already know it; +- **carry the numbers and the conditions.** How many subjects, how many seeds, + which comparison, what size of effect. A result quoted without its conditions + cannot be argued with, which means it cannot be checked; +- **take the objections one at a time.** Later work that complicates the + finding gets its own subsection and its own mechanism, not a sentence in a + list. Two papers disagreeing is the interesting part, not an aside; +- **say what would falsify it, concretely.** "More work is needed" is not that. + Name the result that would undo each section. + +There is no word count, because a target invites padding. The test is whether a +reader who has not opened the paper can follow the argument and find where it +would break. + ## Translations A translation sits beside its original as `name.ru.md`, not in a parallel tree, diff --git a/docs/notes/dopamine-reward-prediction-error.md b/docs/notes/dopamine-reward-prediction-error.md index 0e7a8bc..13fd424 100644 --- a/docs/notes/dopamine-reward-prediction-error.md +++ b/docs/notes/dopamine-reward-prediction-error.md @@ -6,8 +6,14 @@ topics: [neuroscience, reinforcement-learning, dopamine] sources: - title: "Schultz, Dayan & Montague (1997). A Neural Substrate of Prediction and Reward. Science 275(5306), 1593–1599" url: https://doi.org/10.1126/science.275.5306.1593 + - title: "Sutton (1988). Learning to predict by the methods of temporal differences. Machine Learning 3, 9–44" + url: https://doi.org/10.1007/BF00115009 - title: "Matsumoto & Hikosaka (2009). Two types of dopamine neuron distinctly convey positive and negative motivational signals. Nature 459, 837–841" url: https://doi.org/10.1038/nature08028 + - title: "Howe et al. (2013). Prolonged dopamine signalling in striatum signals proximity and value of distant rewards. Nature 500, 575–579" + url: https://doi.org/10.1038/nature12475 + - title: "Steinberg et al. (2013). A causal link between prediction errors, dopamine neurons and learning. Nature Neuroscience 16, 966–973" + url: https://doi.org/10.1038/nn.3413 - title: "Dabney et al. (2020). A distributional code for value in dopamine-based reinforcement learning. Nature 577, 671–675" url: https://doi.org/10.1038/s41586-019-1924-6 --- @@ -16,70 +22,207 @@ sources: Midbrain dopamine neurons in the macaque fire in a pattern that looks like the error term of temporal-difference learning. The correspondence is close enough -that an algorithm written in 1988 predicted what an electrode would record in -1997. That is the reason this result matters, and also the reason it gets -overstated. +that an algorithm published in 1988 predicted, in outline, what an electrode +would record in 1997. That is why the result matters, and it is also why it gets +overstated: a striking match between a theory and a measurement invites the +reader to collapse the two, and much of the work since has been about why they +should not be collapsed. -## What the paper claims +This note is about what the 1997 recordings established, what they left open, +and which later results actually move the conclusion rather than decorate it. -Schultz, Dayan and Montague report three response patterns in dopamine neurons -of monkeys learning a conditioned task: +## The algorithm came first -- An unexpected reward produces a burst. -- Once a cue reliably predicts the reward, the burst moves to the cue, and - delivery of the reward itself produces nothing. -- Expected reward withheld produces a dip below baseline, timed to the moment - the reward should have arrived. +Temporal-difference learning was not derived from neuroscience. Sutton +introduced it for a purely computational problem: how to learn to predict a +delayed outcome without waiting for the outcome every time. -Those three are exactly the signs of the TD error δ = r + γV(s′) − V(s): -positive on surprise, zero once predicted, negative on omission. The paper's -claim is that dopamine broadcasts this error, and that it is the teaching signal -downstream structures learn from. +The setup is an agent moving through states. It keeps an estimate `V(s)` of the +total future reward available from state `s`. On each step it observes the +immediate reward `r` and the next state `s′`, and forms the error -## What the evidence shows +``` +δ = r + γV(s′) − V(s) +``` -The recordings support the shape of the correspondence: sign and timing move as -the theory says they should. That is a strong result and it has replicated -widely. +where `γ` discounts future reward. The term `r + γV(s′)` is a fresh estimate of +what `s` was worth, built from one step of real experience plus the current +guess about everything after it. `V(s)` is the old estimate. Their difference is +the surprise, and the algorithm nudges `V(s)` toward the fresh estimate in +proportion to it. -What the recordings do not establish is the equation. A signal that behaves like -an RPE under these conditions is consistent with dopamine carrying an RPE; it -does not rule out its carrying something correlated with one. The distinction -survives because the manipulations here are correlational — neurons are recorded -during learning, not silenced to see what learning does without them. +Three properties of `δ` matter for what follows, and all three fall out of the +definition rather than being bolted on: -## What would change the reading +**Positive on unexpected reward.** If reward arrives where none was predicted, +`r` is large and `V(s)` is not, so `δ` is positive. -Two later results already have. +**Zero once prediction is accurate.** Once `V` has learned, the fresh estimate +agrees with the old one and the difference vanishes. A perfectly predicted +reward produces no error at all — the signal is about the *unpredicted* part, +not about the reward. -**Dopamine neurons are not one population.** Matsumoto and Hikosaka found -neurons excited by aversive as well as appetitive stimuli, sitting anatomically -apart from the value-coding ones. A single scalar teaching signal cannot account -for both groups; at least one of them is coding something closer to salience. +**It moves backwards in time.** When a cue reliably precedes reward, the cue's +own value rises and the error appears at the cue instead of at the reward. This +is not a separate rule; it follows from `γV(s′)` carrying value one step back on +each visit. -**The variability is not noise.** Dabney and colleagues showed that dopamine -neurons differ systematically in how optimistically or pessimistically they -respond, and that the spread across the population encodes a distribution over -future reward rather than its mean. Under that reading, the 1997 result recorded -the average of a population code and named it the code. +## What the recordings showed -Neither overturns the original observation. Both change what it is evidence for: -the finding is that dopamine carries prediction-error-like information, not that -dopamine is the RPE. +Schultz, Dayan and Montague recorded single units in the midbrain of macaques +learning conditioned tasks, and reported three patterns. + +**An unpredicted reward produces a burst.** Juice delivered without warning +drives a short, sharp increase in firing above baseline. + +**Once a cue predicts the reward, the burst moves to the cue.** After +conditioning, the same juice at the expected moment produces nothing. The burst +has transferred to the earliest reliable predictor. + +**Reward withheld produces a dip.** If the cue appears and the reward does not, +firing drops below baseline — and it drops at the moment the reward was due, not +when the trial ends. + +Set those against the three properties above and they match one for one, +including the detail hardest to get by accident: the timing of the dip. A neuron +that simply reported "something good happened" has no reason to do anything at a +moment when nothing happens. A neuron reporting `δ` has to, because at that +moment `V(s)` predicts reward and the observation contradicts it. + +## What that establishes, and what it does not + +The correspondence is strong evidence that dopamine carries +prediction-error-like information. It is not evidence that dopamine *is* the +prediction error, and the distance between those two statements is where the +later work lives. + +### The original design is correlational + +Neurons are recorded while an animal learns. Nothing is manipulated, so the +design cannot separate a signal that *drives* learning from one that merely +accompanies it. A signal correlated with `δ` is consistent with dopamine +broadcasting the teaching signal, and equally consistent with dopamine reporting +something that co-varies with it. + +That gap was closed later, and it is worth being precise about how, because this +is the step that upgrades the story rather than repeating it. + +Steinberg and colleagues used a **blocking** paradigm. In blocking, a second cue +introduced alongside an already-predictive first cue is normally *not* learned +about: the first cue already predicts the outcome, so there is no error left to +drive learning about the second. The theory's explanation for blocking is +exactly that `δ` is zero. + +They then activated dopamine neurons optogenetically at the moment of reward — +precisely where the theory says the error should be zero — and animals learned +about the blocked cue anyway. An artificial `δ`, inserted where none existed, +produced the learning that a real `δ` would have. + +That is causal, and it is a sharper test than it first appears: the manipulation +does not make the animal generally more attentive or the reward more pleasant. +It supplies one specific quantity at one specific moment, and the behaviour that +follows is the one the equation predicts. + +### The population is treated as one signal + +The 1997 account speaks of dopamine neurons as if they report a single scalar, +broadcast widely. Two later findings complicate that in different directions. + +## What changes the reading + +### The population is not homogeneous + +Matsumoto and Hikosaka found two groups of dopamine neurons that behave +differently and sit in different places. + +One group is excited by reward-predicting cues and inhibited by aversive ones — +the value-coding behaviour the RPE account expects. The other is excited by +*both* appetitive and aversive events, which is not value at all. It looks +closer to salience: "something important is happening", regardless of sign. + +The two groups are anatomically separable, with value-coding neurons +concentrated more ventromedially and salience-like ones more dorsolaterally. + +This does not overturn the 1997 result — the value-coding group behaves as +described. What it removes is the licence to speak of *the* dopamine signal. At +least one substantial population is doing something else, and an experiment that +samples the midbrain without regard to recording site will average across both +and report the blend as if it were one thing. + +### The variability is not noise + +Dabney and colleagues asked what the *spread* across dopamine neurons means. On +a scalar account, individual neurons are noisy copies of one quantity and the +differences between them are measurement error, to be averaged away. + +The distributional account says otherwise. Neurons differ systematically in how +asymmetrically they treat positive and negative errors: some amplify positive +surprise relative to negative, others do the reverse. A neuron with that +asymmetry does not converge on the mean of future reward. It converges on a +**quantile** of the reward distribution, and which quantile is set by how +strongly it weights each direction. + +A population with a spread of asymmetries therefore encodes a spread of +quantiles — a representation of the whole distribution over future reward rather +than of its expectation. The paper reports the asymmetry across recorded neurons +and decodes the implied distribution from it. + +Under that reading, the 1997 experiments recorded the average of a population +code and named the average the code. The original observation survives; what it +was evidence *for* narrows. + +### Ramping is still awkward + +Howe and colleagues measured dopamine in the striatum with fast-scan cyclic +voltammetry while rats ran a maze for reward, and found slow ramps: dopamine +rising gradually as the animal approached the goal, over seconds. + +A pure RPE should not do that. Once the path is well learned, each step is +predicted and the error should sit near zero throughout. A signal climbing +steadily with proximity looks more like value itself than like an error about +value. + +Reconciliations exist — ramps as the derivative of a value function under +particular assumptions about state representation and discounting, or as a +distinct signal carried on a slower timescale by the same transmitter. What +matters here is that the ramp is a measurement in tension with the simple +version of the story, taken with a different method on a different timescale, +and it has not been dissolved by restating the theory. + +## What would change this note + +A demonstration that the value-coding and salience-coding populations are +separable by their **downstream targets**, not only by recording site, would +tighten the account considerably: it would turn an anatomical correlation into a +claim about what each signal is *for*. + +A result showing the asymmetric scaling Dabney reports is an artefact of +recording or of the fitting procedure would return the population to a scalar +code and undo that section entirely. + +A resolution of ramping that predicts *new* measurements, rather than +accommodating the existing ones, would close the loose end this note is +currently obliged to leave open. ## Why this sits in a machine learning repository -The traffic runs both ways, and it is easy to mistake which way it is running. -TD learning was not derived from neuroscience — it came out of Sutton's work on +The traffic runs in both directions, and it is easy to mistake which way it is +running at any given moment. + +TD learning was not copied from the brain. It came out of Sutton's work on prediction, and the biology arrived afterwards as confirmation. Distributional -RL then went the same direction: an algorithmic idea first, a neural signature -found second. +RL repeated the pattern in the same order: an algorithmic idea developed for +reasons internal to reinforcement learning, followed by a search for a neural +signature, which was then found. -So the honest summary is narrower than the popular one. Reinforcement learning -did not copy the brain. It produced a theory precise enough to be checked -against one. +So the honest summary is narrower than the popular one, and more interesting for +being narrower. Reinforcement learning did not learn its algorithms by looking +at brains. It produced theories precise enough that a brain could be used to +check them — which is a harder thing to do, and a better reason to care. ## Where it connects -Nothing yet. When there is a note on distributional RL as an algorithm rather -than a finding, it belongs here. +Nothing yet. A note on distributional RL as an algorithm — quantile regression, +the asymmetric loss that produces the effect, and what predicting a distribution +buys over predicting a mean — belongs beside this one, and would let this note +stop explaining the algorithmic half in passing. diff --git a/docs/notes/dopamine-reward-prediction-error.ru.md b/docs/notes/dopamine-reward-prediction-error.ru.md index 8e75361..ff6e5e0 100644 --- a/docs/notes/dopamine-reward-prediction-error.ru.md +++ b/docs/notes/dopamine-reward-prediction-error.ru.md @@ -6,8 +6,14 @@ topics: [neuroscience, reinforcement-learning, dopamine] sources: - title: "Schultz, Dayan & Montague (1997). A Neural Substrate of Prediction and Reward. Science 275(5306), 1593–1599" url: https://doi.org/10.1126/science.275.5306.1593 + - title: "Sutton (1988). Learning to predict by the methods of temporal differences. Machine Learning 3, 9–44" + url: https://doi.org/10.1007/BF00115009 - title: "Matsumoto & Hikosaka (2009). Two types of dopamine neuron distinctly convey positive and negative motivational signals. Nature 459, 837–841" url: https://doi.org/10.1038/nature08028 + - title: "Howe et al. (2013). Prolonged dopamine signalling in striatum signals proximity and value of distant rewards. Nature 500, 575–579" + url: https://doi.org/10.1038/nature12475 + - title: "Steinberg et al. (2013). A causal link between prediction errors, dopamine neurons and learning. Nature Neuroscience 16, 966–973" + url: https://doi.org/10.1038/nn.3413 - title: "Dabney et al. (2020). A distributional code for value in dopamine-based reinforcement learning. Nature 577, 671–675" url: https://doi.org/10.1038/s41586-019-1924-6 --- @@ -15,69 +21,207 @@ sources: # Дофаминовые нейроны и ошибка предсказания награды Дофаминовые нейроны среднего мозга у макаки разряжаются по схеме, похожей на -ошибку временных разностей. Соответствие настолько близкое, что алгоритм, -написанный в 1988 году, предсказал, что электрод запишет в 1997-м. Поэтому -результат важен — и поэтому же его переоценивают. +ошибку временных разностей. Сходство настолько близкое, что алгоритм, +опубликованный в 1988 году, в общих чертах предсказал, что электрод запишет в +1997-м. Поэтому результат важен — и поэтому же его переоценивают: яркое +совпадение теории и замера подталкивает читателя их отождествить, а бо́льшая +часть последующих работ занята тем, почему отождествлять их нельзя. -## Что утверждает статья +Этот разбор о том, что установили записи 1997 года, что они оставили открытым и +какие более поздние результаты действительно двигают вывод, а не украшают его. -Шульц, Даян и Монтегю описывают три схемы разряда дофаминовых нейронов у обезьян, -обучающихся условной задаче: +## Алгоритм появился раньше -- Неожиданная награда даёт всплеск. -- Когда сигнал начинает надёжно предсказывать награду, всплеск переходит на - сигнал, а сама выдача награды не даёт ничего. -- Ожидаемая награда, которую не выдали, даёт провал ниже базовой линии, точно в - тот момент, когда награда должна была прийти. +Обучение временных разностей не выведено из нейронауки. Саттон предложил его для +чисто вычислительной задачи: как научиться предсказывать отложенный исход, не +дожидаясь этого исхода каждый раз. -Это ровно знаки ошибки δ = r + γV(s′) − V(s): положительная при неожиданности, -нулевая при предсказанном, отрицательная при пропуске. Утверждение статьи в том, -что дофамин транслирует эту ошибку и что нижележащие структуры учатся именно на -ней. +Постановка такая. Агент движется по состояниям и держит оценку `V(s)` — сколько +суммарной будущей награды доступно из состояния `s`. На каждом шаге он видит +непосредственную награду `r` и следующее состояние `s′` и составляет ошибку -## Что показывают данные +``` +δ = r + γV(s′) − V(s) +``` -Записи подтверждают форму соответствия: знак и момент меняются так, как требует -теория. Это сильный результат, и он многократно воспроизведён. +где `γ` дисконтирует будущую награду. Слагаемое `r + γV(s′)` — свежая оценка +того, сколько стоило состояние `s`: один шаг реального опыта плюс текущая догадка +обо всём, что после. `V(s)` — старая оценка. Их разность и есть неожиданность, и +алгоритм сдвигает `V(s)` к свежей оценке пропорционально ей. -Чего записи не устанавливают — так это равенства. Сигнал, ведущий себя как ошибка -предсказания в этих условиях, согласуется с тем, что дофамин её несёт; но не -исключает, что он несёт нечто с ней скоррелированное. Различие сохраняется, -потому что воздействия здесь корреляционные: нейроны записывают во время -обучения, а не выключают, чтобы посмотреть, каким обучение станет без них. +Дальше важны три свойства `δ`, и все три следуют из определения, а не +приделаны сверху: -## Что изменит прочтение +**Положительна при неожиданной награде.** Если награда пришла там, где её не +предсказывали, `r` велико, а `V(s)` нет, значит `δ` положительна. -Две более поздние работы уже изменили. +**Обнуляется, когда предсказание точное.** Когда `V` обучилась, свежая оценка +совпадает со старой и разность исчезает. Идеально предсказанная награда не даёт +никакой ошибки: сигнал про **непредсказанную** часть, а не про награду. -**Дофаминовые нейроны — не одна популяция.** Мацумото и Хикосака нашли нейроны, -возбуждающиеся и на аверсивные стимулы тоже, анатомически отделённые от тех, что -кодируют ценность. Один скалярный обучающий сигнал не объясняет обе группы; как -минимум одна из них кодирует что-то ближе к значимости, чем к ценности. +**Смещается назад во времени.** Когда сигнал надёжно предшествует награде, +ценность самого сигнала растёт, и ошибка появляется на сигнале, а не на награде. +Это не отдельное правило: так работает `γV(s′)`, переносящий ценность на шаг +назад при каждом посещении. -**Разброс — не шум.** Дабни с соавторами показали, что дофаминовые нейроны -систематически различаются по тому, насколько оптимистично или пессимистично они -отвечают, и что разброс по популяции кодирует распределение будущей награды, а не -её среднее. При таком прочтении в 1997 году записали среднее популяционного кода -и назвали его кодом. +## Что показали записи -Ни то, ни другое не отменяет исходного наблюдения. Оба меняют, свидетельством -чего оно является: находка в том, что дофамин несёт информацию, похожую на ошибку -предсказания, а не в том, что дофамин и есть эта ошибка. +Шульц, Даян и Монтегю записывали одиночные нейроны среднего мозга у обезьян, +обучающихся условным задачам, и описали три схемы. + +**Непредсказанная награда даёт всплеск.** Сок, поданный без предупреждения, +вызывает короткое резкое повышение частоты разрядов над базовой линией. + +**Когда сигнал начинает предсказывать награду, всплеск переходит на сигнал.** +После обучения тот же сок в ожидаемый момент не даёт ничего. Всплеск переехал на +самый ранний надёжный предсказатель. + +**Пропущенная награда даёт провал.** Если сигнал был, а награды нет, частота +падает ниже базовой линии — причём падает в тот момент, когда награда должна была +прийти, а не в конце пробы. + +Составьте это с тремя свойствами выше — совпадение идёт один в один, включая +деталь, которую труднее всего получить случайно: момент провала. У нейрона, +который просто сообщает «случилось что-то хорошее», нет причин делать хоть что-то +в момент, когда не случилось ничего. У нейрона, сообщающего `δ`, причина есть: в +этот момент `V(s)` предсказывает награду, а наблюдение это опровергает. + +## Что отсюда следует, а что нет + +Соответствие — сильное свидетельство того, что дофамин несёт информацию, +**похожую** на ошибку предсказания. Оно не является свидетельством того, что +дофамин **и есть** эта ошибка, и расстояние между этими двумя утверждениями — то +место, где живут все последующие работы. + +### Исходный дизайн корреляционный + +Нейроны записывают, пока животное учится. Ничего не воздействуют, поэтому дизайн +не отличает сигнал, который **управляет** обучением, от сигнала, который его лишь +сопровождает. Сигнал, скоррелированный с `δ`, согласуется и с тем, что дофамин +транслирует обучающий сигнал, и с тем, что дофамин сообщает нечто с ним +скоррелированное. + +Этот разрыв закрыли позже, и стоит быть точным в том, как именно: это шаг, +который повышает статус утверждения, а не повторяет его. + +Стейнберг с соавторами использовали парадигму **блокировки**. При блокировке +второй сигнал, введённый рядом с уже предсказывающим первым, обычно **не** +выучивается: первый уже предсказывает исход, поэтому ошибки, способной чему-то +научить, не остаётся. Объяснение блокировки в теории ровно такое — `δ` равна +нулю. + +Дальше они оптогенетически активировали дофаминовые нейроны в момент награды, +ровно там, где по теории ошибка должна быть нулевой, — и животные всё равно +выучили заблокированный сигнал. Искусственная `δ`, вставленная туда, где её не +было, произвела обучение, которое произвела бы настоящая. + +Это причинный результат, и проверка тоньше, чем кажется сначала: воздействие не +делает животное вообще внимательнее и не делает награду приятнее. Оно подаёт одну +конкретную величину в один конкретный момент, а следующее за этим поведение — +именно то, которое предсказывает уравнение. + +### Популяцию считают одним сигналом + +Изложение 1997 года говорит о дофаминовых нейронах так, будто они сообщают один +скаляр, широко разосланный по мозгу. Две более поздние работы усложняют это, и в +разные стороны. + +## Что меняет прочтение + +### Популяция неоднородна + +Мацумото и Хикосака нашли две группы дофаминовых нейронов, которые ведут себя +по-разному и расположены в разных местах. + +Одна группа возбуждается на сигналы, предсказывающие награду, и тормозится на +аверсивные — то самое кодирование ценности, которого ждёт объяснение через +ошибку предсказания. Вторая возбуждается **и** на приятные, **и** на аверсивные +события, а это уже не ценность вовсе. Это ближе к значимости: «происходит нечто +важное» — независимо от знака. + +Группы разделимы анатомически: кодирующие ценность сосредоточены более +вентромедиально, похожие на значимость — более дорсолатерально. + +Исходный результат это не отменяет: группа, кодирующая ценность, ведёт себя как +описано. Отменяется другое — право говорить про **тот самый** дофаминовый сигнал. +Как минимум одна крупная популяция занята чем-то другим, и эксперимент, который +берёт нейроны среднего мозга без учёта места записи, усреднит обе и выдаст смесь +за одну величину. + +### Разброс — не шум + +Дабни с соавторами задались вопросом, что означает **разброс** между +дофаминовыми нейронами. При скалярном объяснении отдельные нейроны — зашумлённые +копии одной величины, а различия между ними суть ошибка измерения, которую надо +усреднить. + +Распределённое объяснение говорит иначе. Нейроны систематически различаются тем, +насколько асимметрично относятся к положительным и отрицательным ошибкам: одни +усиливают положительную неожиданность относительно отрицательной, другие +наоборот. Нейрон с такой асимметрией сходится не к среднему будущей награды. Он +сходится к **квантили** распределения награды, а к какой именно — задаётся тем, +насколько сильно он взвешивает каждое направление. + +Значит, популяция с разбросом асимметрий кодирует разброс квантилей — то есть +представление всего распределения будущей награды, а не его среднего. В работе +приводится и асимметрия по записанным нейронам, и декодирование получающегося из +неё распределения. + +При таком прочтении в 1997 году записали среднее популяционного кода и назвали +это среднее кодом. Исходное наблюдение уцелело; сузилось то, свидетельством чего +оно является. + +### Нарастание остаётся неудобным + +Хоу с соавторами измеряли дофамин в стриатуме методом быстросканирующей +циклической вольтамперометрии, пока крысы бежали лабиринт за наградой, и нашли +медленные нарастания: дофамин плавно рос по мере приближения к цели, на масштабе +секунд. + +Чистая ошибка предсказания так вести себя не должна. Когда путь выучен, каждый +шаг предсказан, и ошибка должна держаться около нуля на всём протяжении. Сигнал, +который ровно растёт с приближением, похож скорее на саму ценность, чем на ошибку +о ценности. + +Согласования предлагались: нарастание как производная функции ценности при +определённых допущениях о представлении состояния и дисконтировании, либо как +отдельный сигнал, который тот же переносчик несёт на более медленном масштабе. +Здесь важно другое: нарастание — это замер, находящийся в напряжении с простой +версией истории, сделанный другим методом на другом масштабе, и переформулировкой +теории он не растворился. + +## Что изменит этот разбор + +Демонстрация того, что популяции ценности и значимости разделимы по **своим +мишеням**, а не только по месту записи, заметно ужесточила бы картину: она +превратила бы анатомическую корреляцию в утверждение о том, **для чего** каждый +сигнал. + +Результат, показывающий, что описанная Дабни асимметрия — артефакт записи или +процедуры подгонки, вернул бы популяцию к скалярному коду и отменил бы этот +раздел целиком. + +Объяснение нарастания, которое предсказывает **новые** замеры, а не подгоняется +под существующие, закрыло бы незакрытый конец, который разбор пока обязан +оставить. ## Почему это лежит в репозитории по машинному обучению Влияние идёт в обе стороны, и легко перепутать, в какую именно оно идёт сейчас. -Обучение временных разностей выведено не из нейронауки: оно выросло из работ -Саттона о предсказании, а биология пришла позже как подтверждение. -Распределённое RL повторило тот же порядок — сначала алгоритмическая идея, потом -найденный нейронный след. -Поэтому честная формулировка уже той, что в ходу. Обучение с подкреплением не -копировало мозг. Оно дало теорию, достаточно точную, чтобы её можно было -проверить на мозге. +Обучение временных разностей не копировали с мозга. Оно выросло из работ Саттона +о предсказании, а биология пришла позже как подтверждение. Распределённое RL +повторило тот же порядок: алгоритмическая идея, развитая по внутренним причинам +обучения с подкреплением, затем поиск нейронного следа, который затем нашли. + +Поэтому честная формулировка уже той, что в ходу, — и интереснее именно тем, что +уже. Обучение с подкреплением не выучило свои алгоритмы, глядя на мозг. Оно +произвело теории, достаточно точные, чтобы мозгом можно было их проверить. Это +труднее и это лучшая причина, чтобы ими интересоваться. ## Связи -Пока никаких. Когда появится разбор распределённого RL как алгоритма, а не как -находки, его место здесь. +Пока никаких. Разбор распределённого RL как алгоритма — квантильная регрессия, +асимметричная функция потерь, дающая эффект, и что предсказание распределения даёт +сверх предсказания среднего — просится рядом с этим и позволил бы здесь перестать +объяснять алгоритмическую половину мимоходом. diff --git a/templates/note.md b/templates/note.md index d398889..a215c1b 100644 --- a/templates/note.md +++ b/templates/note.md @@ -10,25 +10,54 @@ sources: # The claim in one line, as the paper would put it -One paragraph a reader can stop at. What was asked, what was done, what came -out. No numbers yet. +Two or three paragraphs a reader can stop at. What was asked, what was done, +what came out, and why the result is worth an argument. No numbers yet — this +is the part that decides whether someone keeps reading. + +## The background the claim needs + +Delete this section only if the paper genuinely needs none. Usually it does: an +algorithm, a method, a prior result the finding is a response to. State it +properly, with the equation if there is one and what each term means. A reader +who has to look this up elsewhere has been handed a bookmark. ## What the paper claims The claim as its authors state it, in their terms, without correction. Getting -this right before disagreeing is the work. +this right before disagreeing is the work, and it is the section most often +rushed. ## What the evidence shows The measurement, the comparison, the size of the effect, the number of subjects -or seeds. This is where the claim and the evidence are allowed to differ, and -where the difference gets named. +or seeds, the conditions. This is where the claim and the evidence are allowed +to differ, and where the difference gets named. + +A number without its conditions cannot be argued with, which is another way of +saying it cannot be checked. + +## What the design cannot establish + +What the experiment is silent about. Correlational where a causal claim is +being made, one population where a general one is asserted, one dataset, one +seed. If a later paper closed the gap, say which and how — that is a separate +subsection, not a clause. + +## What changes the reading + +One subsection per complicating result, each with its own mechanism explained. +Two papers disagreeing is the interesting part of a literature, not an aside to +be listed. Say for each whether it overturns the original finding or narrows +what the finding is evidence *for* — those are different, and the difference is +usually where the misreading lives. -## What would change the reading +## What would change this note -The result that would overturn this, or the control that is missing. A note -that cannot say what would falsify it is describing a belief. +The concrete result that would undo each section above. Name it. "More work is +needed" is not a falsification condition, and a note that cannot say what would +change its mind is describing a belief. ## Where it connects -Links to other notes here, and what this changes about them. +Links to other notes here, and what this changes about them. A note that +connects to nothing yet says so, and names the note that should exist.