diff --git a/CONTRIBUTING.md b/CONTRIBUTING.md index e326fe3..5af5a1c 100644 --- a/CONTRIBUTING.md +++ b/CONTRIBUTING.md @@ -45,6 +45,34 @@ editing one file rather than two. `mkdocs build --strict` will not catch that on its own: a page outside the navigation is an INFO line it prints before building the site anyway. +## How long a note is + +Long enough to be read instead of the paper, not long enough to be read instead +of thinking. + +The README promises a note is readable without the original open. That rules +out the abstract-with-links shape, which is the one that comes out if you write +quickly: a claim, a gesture at the evidence, a conclusion. It is a bookmark +with paragraph breaks. + +A note that keeps the promise usually has to: + +- **explain the mechanism, not only the finding.** If the result depends on an + algorithm, the algorithm gets stated - the equation if there is one, and what + each term means. A reader should not have to already know it; +- **carry the numbers and the conditions.** How many subjects, how many seeds, + which comparison, what size of effect. A result quoted without its conditions + cannot be argued with, which means it cannot be checked; +- **take the objections one at a time.** Later work that complicates the + finding gets its own subsection and its own mechanism, not a sentence in a + list. Two papers disagreeing is the interesting part, not an aside; +- **say what would falsify it, concretely.** "More work is needed" is not that. + Name the result that would undo each section. + +There is no word count, because a target invites padding. The test is whether a +reader who has not opened the paper can follow the argument and find where it +would break. + ## Translations A translation sits beside its original as `name.ru.md`, not in a parallel tree, diff --git a/docs/notes/dopamine-reward-prediction-error.md b/docs/notes/dopamine-reward-prediction-error.md index 0e7a8bc..13fd424 100644 --- a/docs/notes/dopamine-reward-prediction-error.md +++ b/docs/notes/dopamine-reward-prediction-error.md @@ -6,8 +6,14 @@ topics: [neuroscience, reinforcement-learning, dopamine] sources: - title: "Schultz, Dayan & Montague (1997). A Neural Substrate of Prediction and Reward. Science 275(5306), 1593–1599" url: https://doi.org/10.1126/science.275.5306.1593 + - title: "Sutton (1988). Learning to predict by the methods of temporal differences. Machine Learning 3, 9–44" + url: https://doi.org/10.1007/BF00115009 - title: "Matsumoto & Hikosaka (2009). Two types of dopamine neuron distinctly convey positive and negative motivational signals. Nature 459, 837–841" url: https://doi.org/10.1038/nature08028 + - title: "Howe et al. (2013). Prolonged dopamine signalling in striatum signals proximity and value of distant rewards. Nature 500, 575–579" + url: https://doi.org/10.1038/nature12475 + - title: "Steinberg et al. (2013). A causal link between prediction errors, dopamine neurons and learning. Nature Neuroscience 16, 966–973" + url: https://doi.org/10.1038/nn.3413 - title: "Dabney et al. (2020). A distributional code for value in dopamine-based reinforcement learning. Nature 577, 671–675" url: https://doi.org/10.1038/s41586-019-1924-6 --- @@ -16,70 +22,207 @@ sources: Midbrain dopamine neurons in the macaque fire in a pattern that looks like the error term of temporal-difference learning. The correspondence is close enough -that an algorithm written in 1988 predicted what an electrode would record in -1997. That is the reason this result matters, and also the reason it gets -overstated. +that an algorithm published in 1988 predicted, in outline, what an electrode +would record in 1997. That is why the result matters, and it is also why it gets +overstated: a striking match between a theory and a measurement invites the +reader to collapse the two, and much of the work since has been about why they +should not be collapsed. -## What the paper claims +This note is about what the 1997 recordings established, what they left open, +and which later results actually move the conclusion rather than decorate it. -Schultz, Dayan and Montague report three response patterns in dopamine neurons -of monkeys learning a conditioned task: +## The algorithm came first -- An unexpected reward produces a burst. -- Once a cue reliably predicts the reward, the burst moves to the cue, and - delivery of the reward itself produces nothing. -- Expected reward withheld produces a dip below baseline, timed to the moment - the reward should have arrived. +Temporal-difference learning was not derived from neuroscience. Sutton +introduced it for a purely computational problem: how to learn to predict a +delayed outcome without waiting for the outcome every time. -Those three are exactly the signs of the TD error δ = r + γV(s′) − V(s): -positive on surprise, zero once predicted, negative on omission. The paper's -claim is that dopamine broadcasts this error, and that it is the teaching signal -downstream structures learn from. +The setup is an agent moving through states. It keeps an estimate `V(s)` of the +total future reward available from state `s`. On each step it observes the +immediate reward `r` and the next state `s′`, and forms the error -## What the evidence shows +``` +δ = r + γV(s′) − V(s) +``` -The recordings support the shape of the correspondence: sign and timing move as -the theory says they should. That is a strong result and it has replicated -widely. +where `γ` discounts future reward. The term `r + γV(s′)` is a fresh estimate of +what `s` was worth, built from one step of real experience plus the current +guess about everything after it. `V(s)` is the old estimate. Their difference is +the surprise, and the algorithm nudges `V(s)` toward the fresh estimate in +proportion to it. -What the recordings do not establish is the equation. A signal that behaves like -an RPE under these conditions is consistent with dopamine carrying an RPE; it -does not rule out its carrying something correlated with one. The distinction -survives because the manipulations here are correlational — neurons are recorded -during learning, not silenced to see what learning does without them. +Three properties of `δ` matter for what follows, and all three fall out of the +definition rather than being bolted on: -## What would change the reading +**Positive on unexpected reward.** If reward arrives where none was predicted, +`r` is large and `V(s)` is not, so `δ` is positive. -Two later results already have. +**Zero once prediction is accurate.** Once `V` has learned, the fresh estimate +agrees with the old one and the difference vanishes. A perfectly predicted +reward produces no error at all — the signal is about the *unpredicted* part, +not about the reward. -**Dopamine neurons are not one population.** Matsumoto and Hikosaka found -neurons excited by aversive as well as appetitive stimuli, sitting anatomically -apart from the value-coding ones. A single scalar teaching signal cannot account -for both groups; at least one of them is coding something closer to salience. +**It moves backwards in time.** When a cue reliably precedes reward, the cue's +own value rises and the error appears at the cue instead of at the reward. This +is not a separate rule; it follows from `γV(s′)` carrying value one step back on +each visit. -**The variability is not noise.** Dabney and colleagues showed that dopamine -neurons differ systematically in how optimistically or pessimistically they -respond, and that the spread across the population encodes a distribution over -future reward rather than its mean. Under that reading, the 1997 result recorded -the average of a population code and named it the code. +## What the recordings showed -Neither overturns the original observation. Both change what it is evidence for: -the finding is that dopamine carries prediction-error-like information, not that -dopamine is the RPE. +Schultz, Dayan and Montague recorded single units in the midbrain of macaques +learning conditioned tasks, and reported three patterns. + +**An unpredicted reward produces a burst.** Juice delivered without warning +drives a short, sharp increase in firing above baseline. + +**Once a cue predicts the reward, the burst moves to the cue.** After +conditioning, the same juice at the expected moment produces nothing. The burst +has transferred to the earliest reliable predictor. + +**Reward withheld produces a dip.** If the cue appears and the reward does not, +firing drops below baseline — and it drops at the moment the reward was due, not +when the trial ends. + +Set those against the three properties above and they match one for one, +including the detail hardest to get by accident: the timing of the dip. A neuron +that simply reported "something good happened" has no reason to do anything at a +moment when nothing happens. A neuron reporting `δ` has to, because at that +moment `V(s)` predicts reward and the observation contradicts it. + +## What that establishes, and what it does not + +The correspondence is strong evidence that dopamine carries +prediction-error-like information. It is not evidence that dopamine *is* the +prediction error, and the distance between those two statements is where the +later work lives. + +### The original design is correlational + +Neurons are recorded while an animal learns. Nothing is manipulated, so the +design cannot separate a signal that *drives* learning from one that merely +accompanies it. A signal correlated with `δ` is consistent with dopamine +broadcasting the teaching signal, and equally consistent with dopamine reporting +something that co-varies with it. + +That gap was closed later, and it is worth being precise about how, because this +is the step that upgrades the story rather than repeating it. + +Steinberg and colleagues used a **blocking** paradigm. In blocking, a second cue +introduced alongside an already-predictive first cue is normally *not* learned +about: the first cue already predicts the outcome, so there is no error left to +drive learning about the second. The theory's explanation for blocking is +exactly that `δ` is zero. + +They then activated dopamine neurons optogenetically at the moment of reward — +precisely where the theory says the error should be zero — and animals learned +about the blocked cue anyway. An artificial `δ`, inserted where none existed, +produced the learning that a real `δ` would have. + +That is causal, and it is a sharper test than it first appears: the manipulation +does not make the animal generally more attentive or the reward more pleasant. +It supplies one specific quantity at one specific moment, and the behaviour that +follows is the one the equation predicts. + +### The population is treated as one signal + +The 1997 account speaks of dopamine neurons as if they report a single scalar, +broadcast widely. Two later findings complicate that in different directions. + +## What changes the reading + +### The population is not homogeneous + +Matsumoto and Hikosaka found two groups of dopamine neurons that behave +differently and sit in different places. + +One group is excited by reward-predicting cues and inhibited by aversive ones — +the value-coding behaviour the RPE account expects. The other is excited by +*both* appetitive and aversive events, which is not value at all. It looks +closer to salience: "something important is happening", regardless of sign. + +The two groups are anatomically separable, with value-coding neurons +concentrated more ventromedially and salience-like ones more dorsolaterally. + +This does not overturn the 1997 result — the value-coding group behaves as +described. What it removes is the licence to speak of *the* dopamine signal. At +least one substantial population is doing something else, and an experiment that +samples the midbrain without regard to recording site will average across both +and report the blend as if it were one thing. + +### The variability is not noise + +Dabney and colleagues asked what the *spread* across dopamine neurons means. On +a scalar account, individual neurons are noisy copies of one quantity and the +differences between them are measurement error, to be averaged away. + +The distributional account says otherwise. Neurons differ systematically in how +asymmetrically they treat positive and negative errors: some amplify positive +surprise relative to negative, others do the reverse. A neuron with that +asymmetry does not converge on the mean of future reward. It converges on a +**quantile** of the reward distribution, and which quantile is set by how +strongly it weights each direction. + +A population with a spread of asymmetries therefore encodes a spread of +quantiles — a representation of the whole distribution over future reward rather +than of its expectation. The paper reports the asymmetry across recorded neurons +and decodes the implied distribution from it. + +Under that reading, the 1997 experiments recorded the average of a population +code and named the average the code. The original observation survives; what it +was evidence *for* narrows. + +### Ramping is still awkward + +Howe and colleagues measured dopamine in the striatum with fast-scan cyclic +voltammetry while rats ran a maze for reward, and found slow ramps: dopamine +rising gradually as the animal approached the goal, over seconds. + +A pure RPE should not do that. Once the path is well learned, each step is +predicted and the error should sit near zero throughout. A signal climbing +steadily with proximity looks more like value itself than like an error about +value. + +Reconciliations exist — ramps as the derivative of a value function under +particular assumptions about state representation and discounting, or as a +distinct signal carried on a slower timescale by the same transmitter. What +matters here is that the ramp is a measurement in tension with the simple +version of the story, taken with a different method on a different timescale, +and it has not been dissolved by restating the theory. + +## What would change this note + +A demonstration that the value-coding and salience-coding populations are +separable by their **downstream targets**, not only by recording site, would +tighten the account considerably: it would turn an anatomical correlation into a +claim about what each signal is *for*. + +A result showing the asymmetric scaling Dabney reports is an artefact of +recording or of the fitting procedure would return the population to a scalar +code and undo that section entirely. + +A resolution of ramping that predicts *new* measurements, rather than +accommodating the existing ones, would close the loose end this note is +currently obliged to leave open. ## Why this sits in a machine learning repository -The traffic runs both ways, and it is easy to mistake which way it is running. -TD learning was not derived from neuroscience — it came out of Sutton's work on +The traffic runs in both directions, and it is easy to mistake which way it is +running at any given moment. + +TD learning was not copied from the brain. It came out of Sutton's work on prediction, and the biology arrived afterwards as confirmation. Distributional -RL then went the same direction: an algorithmic idea first, a neural signature -found second. +RL repeated the pattern in the same order: an algorithmic idea developed for +reasons internal to reinforcement learning, followed by a search for a neural +signature, which was then found. -So the honest summary is narrower than the popular one. Reinforcement learning -did not copy the brain. It produced a theory precise enough to be checked -against one. +So the honest summary is narrower than the popular one, and more interesting for +being narrower. Reinforcement learning did not learn its algorithms by looking +at brains. It produced theories precise enough that a brain could be used to +check them — which is a harder thing to do, and a better reason to care. ## Where it connects -Nothing yet. When there is a note on distributional RL as an algorithm rather -than a finding, it belongs here. +Nothing yet. A note on distributional RL as an algorithm — quantile regression, +the asymmetric loss that produces the effect, and what predicting a distribution +buys over predicting a mean — belongs beside this one, and would let this note +stop explaining the algorithmic half in passing. diff --git a/docs/notes/dopamine-reward-prediction-error.ru.md b/docs/notes/dopamine-reward-prediction-error.ru.md index 8e75361..ff6e5e0 100644 --- a/docs/notes/dopamine-reward-prediction-error.ru.md +++ b/docs/notes/dopamine-reward-prediction-error.ru.md @@ -6,8 +6,14 @@ topics: [neuroscience, reinforcement-learning, dopamine] sources: - title: "Schultz, Dayan & Montague (1997). A Neural Substrate of Prediction and Reward. Science 275(5306), 1593–1599" url: https://doi.org/10.1126/science.275.5306.1593 + - title: "Sutton (1988). Learning to predict by the methods of temporal differences. Machine Learning 3, 9–44" + url: https://doi.org/10.1007/BF00115009 - title: "Matsumoto & Hikosaka (2009). Two types of dopamine neuron distinctly convey positive and negative motivational signals. Nature 459, 837–841" url: https://doi.org/10.1038/nature08028 + - title: "Howe et al. (2013). Prolonged dopamine signalling in striatum signals proximity and value of distant rewards. Nature 500, 575–579" + url: https://doi.org/10.1038/nature12475 + - title: "Steinberg et al. (2013). A causal link between prediction errors, dopamine neurons and learning. Nature Neuroscience 16, 966–973" + url: https://doi.org/10.1038/nn.3413 - title: "Dabney et al. (2020). A distributional code for value in dopamine-based reinforcement learning. Nature 577, 671–675" url: https://doi.org/10.1038/s41586-019-1924-6 --- @@ -15,69 +21,207 @@ sources: # Дофаминовые нейроны и ошибка предсказания награды Дофаминовые нейроны среднего мозга у макаки разряжаются по схеме, похожей на -ошибку временных разностей. Соответствие настолько близкое, что алгоритм, -написанный в 1988 году, предсказал, что электрод запишет в 1997-м. Поэтому -результат важен — и поэтому же его переоценивают. +ошибку временных разностей. Сходство настолько близкое, что алгоритм, +опубликованный в 1988 году, в общих чертах предсказал, что электрод запишет в +1997-м. Поэтому результат важен — и поэтому же его переоценивают: яркое +совпадение теории и замера подталкивает читателя их отождествить, а бо́льшая +часть последующих работ занята тем, почему отождествлять их нельзя. -## Что утверждает статья +Этот разбор о том, что установили записи 1997 года, что они оставили открытым и +какие более поздние результаты действительно двигают вывод, а не украшают его. -Шульц, Даян и Монтегю описывают три схемы разряда дофаминовых нейронов у обезьян, -обучающихся условной задаче: +## Алгоритм появился раньше -- Неожиданная награда даёт всплеск. -- Когда сигнал начинает надёжно предсказывать награду, всплеск переходит на - сигнал, а сама выдача награды не даёт ничего. -- Ожидаемая награда, которую не выдали, даёт провал ниже базовой линии, точно в - тот момент, когда награда должна была прийти. +Обучение временных разностей не выведено из нейронауки. Саттон предложил его для +чисто вычислительной задачи: как научиться предсказывать отложенный исход, не +дожидаясь этого исхода каждый раз. -Это ровно знаки ошибки δ = r + γV(s′) − V(s): положительная при неожиданности, -нулевая при предсказанном, отрицательная при пропуске. Утверждение статьи в том, -что дофамин транслирует эту ошибку и что нижележащие структуры учатся именно на -ней. +Постановка такая. Агент движется по состояниям и держит оценку `V(s)` — сколько +суммарной будущей награды доступно из состояния `s`. На каждом шаге он видит +непосредственную награду `r` и следующее состояние `s′` и составляет ошибку -## Что показывают данные +``` +δ = r + γV(s′) − V(s) +``` -Записи подтверждают форму соответствия: знак и момент меняются так, как требует -теория. Это сильный результат, и он многократно воспроизведён. +где `γ` дисконтирует будущую награду. Слагаемое `r + γV(s′)` — свежая оценка +того, сколько стоило состояние `s`: один шаг реального опыта плюс текущая догадка +обо всём, что после. `V(s)` — старая оценка. Их разность и есть неожиданность, и +алгоритм сдвигает `V(s)` к свежей оценке пропорционально ей. -Чего записи не устанавливают — так это равенства. Сигнал, ведущий себя как ошибка -предсказания в этих условиях, согласуется с тем, что дофамин её несёт; но не -исключает, что он несёт нечто с ней скоррелированное. Различие сохраняется, -потому что воздействия здесь корреляционные: нейроны записывают во время -обучения, а не выключают, чтобы посмотреть, каким обучение станет без них. +Дальше важны три свойства `δ`, и все три следуют из определения, а не +приделаны сверху: -## Что изменит прочтение +**Положительна при неожиданной награде.** Если награда пришла там, где её не +предсказывали, `r` велико, а `V(s)` нет, значит `δ` положительна. -Две более поздние работы уже изменили. +**Обнуляется, когда предсказание точное.** Когда `V` обучилась, свежая оценка +совпадает со старой и разность исчезает. Идеально предсказанная награда не даёт +никакой ошибки: сигнал про **непредсказанную** часть, а не про награду. -**Дофаминовые нейроны — не одна популяция.** Мацумото и Хикосака нашли нейроны, -возбуждающиеся и на аверсивные стимулы тоже, анатомически отделённые от тех, что -кодируют ценность. Один скалярный обучающий сигнал не объясняет обе группы; как -минимум одна из них кодирует что-то ближе к значимости, чем к ценности. +**Смещается назад во времени.** Когда сигнал надёжно предшествует награде, +ценность самого сигнала растёт, и ошибка появляется на сигнале, а не на награде. +Это не отдельное правило: так работает `γV(s′)`, переносящий ценность на шаг +назад при каждом посещении. -**Разброс — не шум.** Дабни с соавторами показали, что дофаминовые нейроны -систематически различаются по тому, насколько оптимистично или пессимистично они -отвечают, и что разброс по популяции кодирует распределение будущей награды, а не -её среднее. При таком прочтении в 1997 году записали среднее популяционного кода -и назвали его кодом. +## Что показали записи -Ни то, ни другое не отменяет исходного наблюдения. Оба меняют, свидетельством -чего оно является: находка в том, что дофамин несёт информацию, похожую на ошибку -предсказания, а не в том, что дофамин и есть эта ошибка. +Шульц, Даян и Монтегю записывали одиночные нейроны среднего мозга у обезьян, +обучающихся условным задачам, и описали три схемы. + +**Непредсказанная награда даёт всплеск.** Сок, поданный без предупреждения, +вызывает короткое резкое повышение частоты разрядов над базовой линией. + +**Когда сигнал начинает предсказывать награду, всплеск переходит на сигнал.** +После обучения тот же сок в ожидаемый момент не даёт ничего. Всплеск переехал на +самый ранний надёжный предсказатель. + +**Пропущенная награда даёт провал.** Если сигнал был, а награды нет, частота +падает ниже базовой линии — причём падает в тот момент, когда награда должна была +прийти, а не в конце пробы. + +Составьте это с тремя свойствами выше — совпадение идёт один в один, включая +деталь, которую труднее всего получить случайно: момент провала. У нейрона, +который просто сообщает «случилось что-то хорошее», нет причин делать хоть что-то +в момент, когда не случилось ничего. У нейрона, сообщающего `δ`, причина есть: в +этот момент `V(s)` предсказывает награду, а наблюдение это опровергает. + +## Что отсюда следует, а что нет + +Соответствие — сильное свидетельство того, что дофамин несёт информацию, +**похожую** на ошибку предсказания. Оно не является свидетельством того, что +дофамин **и есть** эта ошибка, и расстояние между этими двумя утверждениями — то +место, где живут все последующие работы. + +### Исходный дизайн корреляционный + +Нейроны записывают, пока животное учится. Ничего не воздействуют, поэтому дизайн +не отличает сигнал, который **управляет** обучением, от сигнала, который его лишь +сопровождает. Сигнал, скоррелированный с `δ`, согласуется и с тем, что дофамин +транслирует обучающий сигнал, и с тем, что дофамин сообщает нечто с ним +скоррелированное. + +Этот разрыв закрыли позже, и стоит быть точным в том, как именно: это шаг, +который повышает статус утверждения, а не повторяет его. + +Стейнберг с соавторами использовали парадигму **блокировки**. При блокировке +второй сигнал, введённый рядом с уже предсказывающим первым, обычно **не** +выучивается: первый уже предсказывает исход, поэтому ошибки, способной чему-то +научить, не остаётся. Объяснение блокировки в теории ровно такое — `δ` равна +нулю. + +Дальше они оптогенетически активировали дофаминовые нейроны в момент награды, +ровно там, где по теории ошибка должна быть нулевой, — и животные всё равно +выучили заблокированный сигнал. Искусственная `δ`, вставленная туда, где её не +было, произвела обучение, которое произвела бы настоящая. + +Это причинный результат, и проверка тоньше, чем кажется сначала: воздействие не +делает животное вообще внимательнее и не делает награду приятнее. Оно подаёт одну +конкретную величину в один конкретный момент, а следующее за этим поведение — +именно то, которое предсказывает уравнение. + +### Популяцию считают одним сигналом + +Изложение 1997 года говорит о дофаминовых нейронах так, будто они сообщают один +скаляр, широко разосланный по мозгу. Две более поздние работы усложняют это, и в +разные стороны. + +## Что меняет прочтение + +### Популяция неоднородна + +Мацумото и Хикосака нашли две группы дофаминовых нейронов, которые ведут себя +по-разному и расположены в разных местах. + +Одна группа возбуждается на сигналы, предсказывающие награду, и тормозится на +аверсивные — то самое кодирование ценности, которого ждёт объяснение через +ошибку предсказания. Вторая возбуждается **и** на приятные, **и** на аверсивные +события, а это уже не ценность вовсе. Это ближе к значимости: «происходит нечто +важное» — независимо от знака. + +Группы разделимы анатомически: кодирующие ценность сосредоточены более +вентромедиально, похожие на значимость — более дорсолатерально. + +Исходный результат это не отменяет: группа, кодирующая ценность, ведёт себя как +описано. Отменяется другое — право говорить про **тот самый** дофаминовый сигнал. +Как минимум одна крупная популяция занята чем-то другим, и эксперимент, который +берёт нейроны среднего мозга без учёта места записи, усреднит обе и выдаст смесь +за одну величину. + +### Разброс — не шум + +Дабни с соавторами задались вопросом, что означает **разброс** между +дофаминовыми нейронами. При скалярном объяснении отдельные нейроны — зашумлённые +копии одной величины, а различия между ними суть ошибка измерения, которую надо +усреднить. + +Распределённое объяснение говорит иначе. Нейроны систематически различаются тем, +насколько асимметрично относятся к положительным и отрицательным ошибкам: одни +усиливают положительную неожиданность относительно отрицательной, другие +наоборот. Нейрон с такой асимметрией сходится не к среднему будущей награды. Он +сходится к **квантили** распределения награды, а к какой именно — задаётся тем, +насколько сильно он взвешивает каждое направление. + +Значит, популяция с разбросом асимметрий кодирует разброс квантилей — то есть +представление всего распределения будущей награды, а не его среднего. В работе +приводится и асимметрия по записанным нейронам, и декодирование получающегося из +неё распределения. + +При таком прочтении в 1997 году записали среднее популяционного кода и назвали +это среднее кодом. Исходное наблюдение уцелело; сузилось то, свидетельством чего +оно является. + +### Нарастание остаётся неудобным + +Хоу с соавторами измеряли дофамин в стриатуме методом быстросканирующей +циклической вольтамперометрии, пока крысы бежали лабиринт за наградой, и нашли +медленные нарастания: дофамин плавно рос по мере приближения к цели, на масштабе +секунд. + +Чистая ошибка предсказания так вести себя не должна. Когда путь выучен, каждый +шаг предсказан, и ошибка должна держаться около нуля на всём протяжении. Сигнал, +который ровно растёт с приближением, похож скорее на саму ценность, чем на ошибку +о ценности. + +Согласования предлагались: нарастание как производная функции ценности при +определённых допущениях о представлении состояния и дисконтировании, либо как +отдельный сигнал, который тот же переносчик несёт на более медленном масштабе. +Здесь важно другое: нарастание — это замер, находящийся в напряжении с простой +версией истории, сделанный другим методом на другом масштабе, и переформулировкой +теории он не растворился. + +## Что изменит этот разбор + +Демонстрация того, что популяции ценности и значимости разделимы по **своим +мишеням**, а не только по месту записи, заметно ужесточила бы картину: она +превратила бы анатомическую корреляцию в утверждение о том, **для чего** каждый +сигнал. + +Результат, показывающий, что описанная Дабни асимметрия — артефакт записи или +процедуры подгонки, вернул бы популяцию к скалярному коду и отменил бы этот +раздел целиком. + +Объяснение нарастания, которое предсказывает **новые** замеры, а не подгоняется +под существующие, закрыло бы незакрытый конец, который разбор пока обязан +оставить. ## Почему это лежит в репозитории по машинному обучению Влияние идёт в обе стороны, и легко перепутать, в какую именно оно идёт сейчас. -Обучение временных разностей выведено не из нейронауки: оно выросло из работ -Саттона о предсказании, а биология пришла позже как подтверждение. -Распределённое RL повторило тот же порядок — сначала алгоритмическая идея, потом -найденный нейронный след. -Поэтому честная формулировка уже той, что в ходу. Обучение с подкреплением не -копировало мозг. Оно дало теорию, достаточно точную, чтобы её можно было -проверить на мозге. +Обучение временных разностей не копировали с мозга. Оно выросло из работ Саттона +о предсказании, а биология пришла позже как подтверждение. Распределённое RL +повторило тот же порядок: алгоритмическая идея, развитая по внутренним причинам +обучения с подкреплением, затем поиск нейронного следа, который затем нашли. + +Поэтому честная формулировка уже той, что в ходу, — и интереснее именно тем, что +уже. Обучение с подкреплением не выучило свои алгоритмы, глядя на мозг. Оно +произвело теории, достаточно точные, чтобы мозгом можно было их проверить. Это +труднее и это лучшая причина, чтобы ими интересоваться. ## Связи -Пока никаких. Когда появится разбор распределённого RL как алгоритма, а не как -находки, его место здесь. +Пока никаких. Разбор распределённого RL как алгоритма — квантильная регрессия, +асимметричная функция потерь, дающая эффект, и что предсказание распределения даёт +сверх предсказания среднего — просится рядом с этим и позволил бы здесь перестать +объяснять алгоритмическую половину мимоходом. diff --git a/templates/note.md b/templates/note.md index d398889..a215c1b 100644 --- a/templates/note.md +++ b/templates/note.md @@ -10,25 +10,54 @@ sources: # The claim in one line, as the paper would put it -One paragraph a reader can stop at. What was asked, what was done, what came -out. No numbers yet. +Two or three paragraphs a reader can stop at. What was asked, what was done, +what came out, and why the result is worth an argument. No numbers yet — this +is the part that decides whether someone keeps reading. + +## The background the claim needs + +Delete this section only if the paper genuinely needs none. Usually it does: an +algorithm, a method, a prior result the finding is a response to. State it +properly, with the equation if there is one and what each term means. A reader +who has to look this up elsewhere has been handed a bookmark. ## What the paper claims The claim as its authors state it, in their terms, without correction. Getting -this right before disagreeing is the work. +this right before disagreeing is the work, and it is the section most often +rushed. ## What the evidence shows The measurement, the comparison, the size of the effect, the number of subjects -or seeds. This is where the claim and the evidence are allowed to differ, and -where the difference gets named. +or seeds, the conditions. This is where the claim and the evidence are allowed +to differ, and where the difference gets named. + +A number without its conditions cannot be argued with, which is another way of +saying it cannot be checked. + +## What the design cannot establish + +What the experiment is silent about. Correlational where a causal claim is +being made, one population where a general one is asserted, one dataset, one +seed. If a later paper closed the gap, say which and how — that is a separate +subsection, not a clause. + +## What changes the reading + +One subsection per complicating result, each with its own mechanism explained. +Two papers disagreeing is the interesting part of a literature, not an aside to +be listed. Say for each whether it overturns the original finding or narrows +what the finding is evidence *for* — those are different, and the difference is +usually where the misreading lives. -## What would change the reading +## What would change this note -The result that would overturn this, or the control that is missing. A note -that cannot say what would falsify it is describing a belief. +The concrete result that would undo each section above. Name it. "More work is +needed" is not a falsification condition, and a note that cannot say what would +change its mind is describing a belief. ## Where it connects -Links to other notes here, and what this changes about them. +Links to other notes here, and what this changes about them. A note that +connects to nothing yet says so, and names the note that should exist.