Wat er gebeurt binnenin een neuraal netwerk als je niet kijkt

Als je het woord "neuraal netwerk" hoort, ontstaan meestal twee beelden tegelijk. Het ene is biologisch — slierten neuronen met vertakte uitlopers, een grijs massa van celactiviteit. Het andere is abstract — bollen verbonden door lijnen, uitgetekend op een wit bord, als een driedimensionaal sudoku. Geen van beide beelden laat zien wat er echt gebeurt. Het eerste is vergezocht, het tweede te schoon.

Als je de wiskunde even wegdenkt, blijft er iets verrassend tastbaars over.

Een stapel rekenmachines met knoppen

Stel je voor: honderden kleine rekenmachines, gerangschikt in rijen. Elke rekenmachine heeft een paar ingangen en één uitgang. Ze krijgen getallen binnen, tellen ze bij elkaar op volgens een bepaalde weging, en sturen het resultaat door naar de volgende rekenmachine. Tussen iedere verbinding — iedere draad tussen twee rekenmachines — zit een draaiknop. Die knop bepaalt hoeveel het signaal wordt versterkt of gedempt als het doorgaat.

Dat is een neuraal netwerk. Rij 1 krijgt de input (bijvoorbeeld de pixels van een foto). Rij 2 rekent iets uit gebaseerd op rij 1. Rij 3 doet hetzelfde met rij 2. Enzovoort, tot de laatste rij. Die laatste rij geeft de output — bijvoorbeeld het antwoord "kat" of "hond".

De wiskunde per rekenmachine is lachwekkend simpel. Vermenigvuldig iedere ingang met het gewicht van die verbinding, tel alles op, voer het door een eenvoudig filter (meestal: "als het resultaat onder nul is, zet het op nul"), stuur het door. Niks ingewikkelds. De magie zit niet in de losse rekenmachines.

De magie zit in de draaiknoppen

Bij de start van het trainen staan alle draaiknoppen willekeurig. Stuur je een foto doorheen het netwerk, dan komt er onzin uit. Van "dit is een dinosaurus" tot "dit is een toetsenbord" — alles kan, want er zit geen enkele kennis in het systeem.

Dan komt het interessante deel. Je vertelt het netwerk wat het juiste antwoord was ("nee, dit is een kat") en meet hoe ver de voorspelling ernaast zat. Vervolgens wordt, laag voor laag teruggerekend, elke draaiknop een heel klein stukje verdraaid in de richting die het fout kleiner had gemaakt. Niet één draaiknop tegelijk — alle miljarden tegelijk, ieder een fractie.

Die kleine verdraaiingen, herhaald over miljoenen voorbeelden, vormen het netwerk. Langzaam beginnen sommige combinaties van draaiknoppen iets te betekenen: een groepje versterkt samen verticale lijnen in de input, een ander reageert op ronde vormen, een derde op specifieke kleurpatronen. Iets hoger in het netwerk worden die basiskenmerken gecombineerd tot vage concepten ("oor-achtige vorm", "vacht-achtige textuur"). Nog hoger worden die concepten samengevoegd tot herkenningen ("kat").

Niemand heeft deze tussenstappen ingebouwd. Ze zijn ontstaan.

Wat dat soort ontstaan betekent

De eigenaardigheid van neurale netwerken is dat niemand precies kan zeggen wat er in die middenlagen gebeurt. Je kunt per neuron meten wanneer hij "vuurt", je kunt patronen zien, maar een volledige beschrijving van hoe alle honderdduizenden neuronen samen tot een antwoord komen heeft niemand.

Dat is geen luiheid of gebrek aan technologie. Het is een gevolg van hoe het systeem is ontstaan. De regels zijn nooit opgeschreven; ze zijn gegroeid uit voorbeelden. Dus ze zijn niet te lezen als code. Het veld dat hiernaar onderzoek doet heet mechanistic interpretability — en is een van de spannendste hoeken van AI-onderzoek. Recent heeft Anthropic in 2024 aangetoond dat je in grote taalmodellen "features" kunt vinden die bijvoorbeeld reageren op het concept "Golden Gate Bridge" of "sycophancy". Iedere feature is een combinatie van miljoenen gewichten, en ze zijn niet vooraf vastgelegd — ze zijn gevonden.

Waarom "neuraal" grotendeels metafoor is

De naam komt van het werk van McCulloch en Pitts in 1943, die de eerste wiskundige modellen van biologische neuronen beschreven. Sindsdien zijn de technieken volledig losgekomen van biologie. Echte neuronen werken met chemische signalen, elektrische spikes, delen van seconden aan timing. Kunstmatige neuronen zijn pure wiskunde — continue getallen, geen tijdsaspect, geen biologie.

Sommige onderzoekers vinden dat de naam verwarring zaait. Een kunstmatig neuraal netwerk doet niet na wat het brein doet; het lost alleen soms dezelfde soort problemen op. De metafoor blijft hangen omdat ze communicatief handig is, niet omdat ze nauwkeurig is.

Wat dit alles praktisch betekent

Als je een neuraal netwerk begrijpt als "een grote stapel draaiknoppen die geleidelijk worden bijgesteld om patronen in data te passen", zakken een paar dingen op hun plek. Waarom heb je enorm veel data nodig? Omdat je elke draaiknop met duizenden voorbeelden moet bijstellen voor hij iets betekenisvols doet. Waarom is trainen zo duur? Omdat iedere aanpassing rekenwerk vergt en je het miljoenen keren doet over miljarden gewichten. Waarom is het moeilijk te voorspellen wat het systeem doet op nieuwe input? Omdat de regels niet geschreven zijn maar geëmergeerd uit de trainingsdata, en nieuwe input kan buiten die data vallen.

Waarom voelt het soms alsof het systeem "begrijpt"? Omdat begrip zich bij mensen ook uit in gedrag — en als een systeem gedrag vertoont dat op begrip lijkt, is het lastig om te zeggen waar de grens loopt.

Wat er in het netwerk gebeurt, als je niet kijkt, is dus iets betrekkelijk saais: getallen gaan door lijnen, worden vermenigvuldigd met andere getallen, en bepalen nieuwe getallen. Wat er ontstaat terwijl dat gebeurt — herkenning, taal, beeld, gedrag — is wonderlijker dan we volledig kunnen beschrijven. Het vreemde aan neurale netwerken is niet dat ze iets bovennatuurlijks doen. Het vreemde is dat iets zo simpels aan de binnenkant, iets zo rijks aan de buitenkant oplevert.

Dat contrast is misschien de meest onderschatte kernkwaliteit van moderne AI.