Ik heb eerder al eens een vertaald stukje gepost uit Kunnen machines gebouwd worden die even intelligent zijn als mensen? van James McClelland. Gefascineerd heb ik me uiteindelijk door het hele artikel geworsteld, maar niet zonder enkele zaken op te moeten zoeken. Deze zaken geef ik hier kort weer, en laat daarna de hele vertaling van het artikel volgen.
Zo wist ik niets over de “levels of analysis” van de Britse neurowetenschapper David Marr, die omstreeks 1975 tot het besluit kwam dat onze hersenen te veelzijdig zijn om ze in een voorspellende theorie te vangen. Geen enkele theorie kan zeggen wat iemands hersenen zullen doen. Een theorie over het denken moet beschrijven, niet voorspellen. Marr's schema om kennissystemen te beschrijven speelt sindsdien een belangrijke rol in de kenniswetenschap, voor hersenen evengoed als voor artificiele systemen. Het schema van Marr omvat drie onderzoeksniveaus (de Engelse benamingen zijn slecht vertaalbaar en keren nog terug bij McClelland):
- 1.Aard en doel: welke problemen worden door het systeem opgelost of overwonnen, en waarom doet het systeem die dingen? (“computational level”)
2. bewerkingen: op welke wijze doet het systeem wat het doet? Welke beeldvorming gebruikt het en op welke wijze maakt en gebruikt het systeem die beelden? (“algorithmic level”)
3. architectuur: de uitvoering: uit welke delen bestaat het systeem en hoe hangen die aan mekaar? (“implementational level”)
Dergelijke artificiele netwerken zouden met biologische hersenen gemeen hebben dat ze zich op een onvoorspelbare wijze kunnen aanpassen aan nieuwe complexe problemen. Het is een 'levend' model.In de 70er jaren bleek uit onderzoek van de hersenschors (die verantwoordelijk is voor kennisprocessen) dat zich daarin ontelbare verbindingen tussen neuronen bevonden, volgens een patroon van talrijke onderling verbonden netwerken. Dit suggereert dat iets wat in de hersenen is opgeslagen niet zomaar kan aangewezen worden in één bepaalde plaats van de hersenschors. De neurale activiteit ervoor lijkt verspreid te zijn over een deel van het brein. Zo zou je de naam van je moeder niet terugvinden op één plaats; hij zou verspreid zijn over duizenden neuronen (hersencellen). Men stelde een onderzoeksmodel voor (PDP of Parallel Distribution Approach) dat verschillende belangrijke eigenschappen van het brein kon nabootsen. Het model bevat vereenvoudigde neuron-achtige verbindingen, en neurale activiteit verspreid over het systeem.
Tot dan was de benadering van Artificiele Intelligentie er een geweest van reeksen van onafhankelijke bewerkingen, waarvan een stap voltooid moest zijn alvorens een volgende aan te vatten, maar deze modellen konden bijvoorbeeld niet verklaren hoe het menselijk brein een tafereel in een oogwenk kan verwerken.
Principes van neurale netwerken zijn:
- 1. Kennis kan gelijktijdig verwerkt worden, het hoeft niet na elkaar.
2. Wanneer neuronen (hersencellen) vb een woord terugzoeken is deze aktie verspreid over een min of meer groot gebied van de hersenschors, in knooppunten die met elkaar verbonden zijn als een netwerk.
3. Een knooppunt (neuron of groep neuronen) dat een kritisch peil van aktivering bereikt, kan langs deze verbindingen andere knooppunten aktiveren of afremmen.
4. Als twee knooppunten op hetzelfde ogenblik geactiveerd worden, wordt de verbinding tussen beide versterkt. Leren wordt zo beschouwd als het versterken van verbindingen.
5. Informatiepatronen, bijvoorbeeld een gelaat, worden herkend zelfs als niet alle knooppunten overeenstemmen.
Hier volgt de vertaling van het artikel van James McClelland (18 February 2009)
(bron: Is a machine realization of truly human-like intelligence achievable? Voor voetnoten zie aldaar.)Kunnen machines gebouwd worden die even intelligent zijn als mensen?
Samenvatting
Zelfs na meer dan een halve eeuw onderzoek naar intelligente machines, blijven mensen onze krachtigste computers overtreffen in een breede waaier van kennistaken, zoals het herkennen van voorwerpen, het begrijpen van taal, het veranderen en uitvoeren van plannen, afhankelijk van omstandigheden. In al deze gebieden is vooruitgang geboekt, maar computers ontberen nog steeds de soepelheid, vrijheid, creativiteit, doelbewustheid en inzicht waarin menselijke kennis uitmundt. De redenen hiervoor, en de vooruitzichten om deze beperkingen te overwinnen, worden hieronder besproken.
Zijn mensen nog altijd slimmer dan machines?
In het inleidende hoofdstuk van Parallel Distributed Processing (McLleland 1986) begonnen we met de vraag:
Waarom zijn mensen slimmer dan machines?
In die tijd leek dit een goede en belangrijke vraag. De inspanning om menselijke kennis te begrijpen en na te bootsen is reeds dertig jaar gaande, en is, ondanks de aanvankelijke verwachtingen, nog niet ver gevorderd. Zeker, grote beweringen zijn gemaakt. Herbert Simon schrijft in zijn autobiografie dat hij in 1953 voor een klas verklaarde: “dit kerstverlof hebben Al Newell en ik een denkende computer geprogrammeerd.” En het soort “denken” dat Newell en Simon gebouwd hadden leverde indrukwekkende resultaten, inbegrepen het op Lisp steunende Macsyma, een systeem dat de menselijke mogelijkheden om wiskundige vergelijkingen op te lossen ver overtrof. Maar zoals we schreven op de eerste bladzijde van PDP, de computerprogramma's van de tachtiger jaren waren ver verwijderd van de vloeiende, zich aanpassende intelligentie die mensen ten toon spreiden in een zeer grote verscheidenheid van kennistaken, inbegrepen “voorwerpen herkennen in natuurlijke omgevingen en hun relaties begrijpen, taal begrijpen en de nodige informatie terughalen uit het geheugen, plannen maken, en akties uitvoeren aangepast aan omstandigheden.”
Het is nu vijfentwintig jaar geleden sinds deze woorden werden geschreven. Gedurende deze jaren hebben we een steeds sneller stijgende toename gezien in snelheid en schaal van computers, aan een steeds lagere prijs. Desktopcomputers vandaag zijn miljoenen malen sneller en hebben ongeveer 100.000 maal meer geheugen dan de eerste commerciele computers (de IBM704 van 1954), en terzelfdertijd zijn ze duizend maal goedkoper: de 704 kostte twee miljoen dollar, en de huidige desktops ongeveer tweeduizend. In die omstandigheden kunnen we ons afvragen:
Is het nog steeds waar dat mensen slimmer zijn dan computers? En indien dit het geval is: waarom?
Ongetwijfeld is er vooruitgang geboekt is sinds de tachtiger jaren. Bijvoorbeeld, computers zijn vandaag de beste schakers. Na enkele betwistbare overwinningen en enkele malen gelijkspel, werd de onbetwiste wereldkampioen van die tijd, Vladimir Kramnik, verslagen door de schaakcomputer Deep Fritz in 2006. Toch leerde ook Deep Fritz niet zelf schaken: sommige van de slimste mensen in de wereld staken een hoop tijd en geld in de hard- en software voor Deep Fritz, en men zou kunnen stellen dat Fritz's spel enkel de weerslag was van niets meer dan slim menselijk programmeerwerk, gekombineerd met ruwe kracht en bordoverzicht.
Wat met de natuurlijke kennistaken waar we het over hadden in “Parallel Distributed Pocessing”? In het zien hebben computerbenaderingen belangrijke voouitgang geboekt. Serre doet verslag van een speciaal ontworpen neuraal netwerk dat zelfstandig een algemeen “woordenboek” leert. Dit model wordt dan getraind om met die kennis dieren te onderscheiden van niet-dieren, iets waar het menselijke prestaties in benadert. Ik heb de indruk dat gelijkaardige vorderingen zijn gemaakt in andere natuurlijke kennistaken, inbegrepen taalvaardigheid en herinnering, en ook in planning en keuze van akties. Niemand kan beweren dat menselijke prestaties bereikt zijn, maar ik ben optimistisch dat we nog steeds vooruitgaan in al deze gebieden, tot een zeker punt.
Toch lijken er enkele essentiele tekortkomingen te bestaan om tot een intelligente machine te komen. Een belangrijke beperking is de smalle focus van systemen die een vorm van artificiele intelligentie hebben bereikt. Neem bijvoorbeeld het programma waarmee ik bridge speel op mijn computer. Het programma is goed, en toch houdt het met sommige dingen geen rekening waar een mens wel op zou letten. Zo kan een bridgespeler toeschouwers in het oog houden en uit hun houding afleiden of iemand goede kaarten heeft. Mensen kunnen informatie binnenhalen van buiten het domein, en deze aanwenden. Een computer is zich niet bewust van anderen, en beschikt niet over de mogelijkheid plannen te maken om een buitenstaander te gebruiken.
Dit voorbeeld illustreert een natuurlijke eigenschap van menselijk denken: elke informatiebron kan een rol spelen. Zelfs de beste cognitieve ontwerpen van het ogenblik, zoals de ACT-R of SOAR, kunnen geen gebruik maken van zulke situatie. Veronderstel dat men dit gebrek zou willen voorkomen met volgende regel in een computerprogramma: “Ga altijd na of iets in de situatie kan wijzen op een onverwachte complicatie.” Het zou boeiend zijn als een computerptogramma zo'n open opdracht zou kunnen begrijpen. Maar dit zou betekenen dat om het even wat kan meespelen, en dat de computer in een eindeloze zoektocht terechtkomt naar alle mogelijke invloeden op alle mogelijke aspecten, zonder ophouden. Het is niet waarschijnlijk dat de menselijke geest het probleem op die wijze oplost.
Waarom zijn mensen nog altijd slimmer dan machines?
Terwijl mensen zeker gebreken hebben, ontberen de computerbenaderingen waarmee ik vertrouwd ben de open karakteristieken van menselijke kennis, zoals hierboven geillustreerd, en hangen ze nog steeds in hoge mate af van de menselijke programmeur. Weinigen zullen ontkennen dat ze ook de soepelheid, het aanpassingsvermogen, de creativiteit, de doelgerichtheid en het inzicht ontberen die we associeren met menselijke kennis. Zonder overdrijven mogen we stellen dat de echte intelligentie van de meeste artificiele systemen nog steeds de menselijke programmeur is. Op die manier bekeken, blijven computers gereedschappen, en zijn ze geen onafhankelijke, zelfstandig denkende wezens zoals mensen.
Waarom hebben artificiele intelligente systemen deze beperkingen nog steeds? Men zou kunnen verdedigen dat er nog altijd een probleem is van rekenkracht. Het brein bevat 10^11 [een 1 gevolgd door 11 nullen] neuronen en 10^15 synapsen, die samen ongeveer 10^18 vermenigvuldigingen per seconde kunnen uitvoeren. Nu hebben zowel IBM als Sun meegedeeld dat ze de petaflop grens hebben overschreden, maw dat hun machines 10^15 wijzigingen per seconde kunnen uitvoeren; dat is nog steeds drie ordes te traag: de nabootsing van tien minuten mensenwerk zou een volle week vergen op zo'n computer. Als de snelheid van nieuwe computers elke twee verdubbelt, zal de exaflop (10^18) bereikt zijn vóór 2030 – dus misschien zullen we dan het volledige bereik en de omvang van menselijke kennis kunnen vatten.
Het is inmiddels wel duidelijk dat meer rekenkracht alléén niet zal volstaan. Welke vooruitgang is er nog nodig? Ik noem de vier gebieden die mij het belangrijkst lijken. Drie zijn reeds genoemd door Marr, maar ik pas er één aan en voeg een vierde gebied toe, dat waarschijnlijk nog in belang zal groeien.
The Computational Level
[ Aard en doel: welke problemen worden door het systeem opgelost of overwonnen, en waarom doet het systeem die dingen? ]
De opdeling door Marr in drie niveaus gaf aan kenniswetenschappers een makkelijk houvast om een onderscheid te maken tussen de aard en het doel van hun model aan de ene kant, en de bewerkingen en de uitvoering ervan aan de andere kant. Hij moedigde hen aan te focussen op [de aard en het doel van kennissystemen], iets wat sindsdien alleen maar in belang is toegenomen. De vraag “welke informatie is beschikbaar in de omgeving, en hoe kan ze best benut worden” blijft de kernvraag bij natuurlijke taken zoals zicht en spraakwaarneming. Ondanks alle vooruitgang, weet men nog lang niet welke informatie zich in een stimulus bevindt.
Neem bijvoorbeeld twee lijnen die samenkomen achter een voorwerp. Zou je denken dat ze verbonden zijn of niet? Vroeger werden hiervoor intuitieve formules gebruikt, zoals een formule om de kleinste buiging te zoeken. Meer recent werd statisitisch onderzoek verricht aan de hand van foto's van vergelijkbare toestanden, met beter resultaat. Bij het bekijken van foto's van natuurlijke situaties werd de waarschijnlijkheid bepaald of de lijnen verbonden waren aan de hand van gegevens op de foto. Dit leverde een volledig nieuw model op, maar een dat overeenkwam met hoe proefpersonen in een test de beelden zagen. Dit is een klein voorbeeldje, maar wel een dat duidelijk maakt hoeveel er nog te leren is over het verband tussen stimuli en de realiteit die erachter schuilt. Op dit soort kwesties moeten we ons toeleggen als we intelligentie volledig willen begrijpen.
Deze zaken zijn niet onbelangrijk. De “computational level” is moeilijk te vatten. Stel je bijvoorbeeld een kennissysteem voor dat geconfronteerd wordt met een reeks van waarnemingen van situaties en gevolgen in een of ander domein, en laat ons aannemen dat het goed zou zijn dat dit systeem deze gegevens zou kunnen gebruiken om iets te leren over het verband tussen situaties en gevolgen. Hoe kunnen we best bepalen wat geleerd moet worden in zo'n situatie? Hierover bestaan vandaag twee standpunten. Het ene standpunt zegt dat het systeem zo opgevat moet worden dat het een statistisch model van zijn omgeving samenstelt, en met die gegevens het meest passende type van omgeving kiest. De alternatieve opvatting zegt dat elke lijst van types van omgevingen de werkelijkheid slechts kan benaderen, en dat het beter zou zijn een systeem te bedenken dat zo goed mogelijk voorspellingen maakt, maar innerlijk onbeslist blijft inplaats van bepaald (zoals in de representatie van neurale netwerken). Beide opvattingen moeten verder onderzocht worden, evenals hun onderlinge relatie. Zoals ze nu worden opgevat, kan de eerste visie te veel beperkingen aan het systeem opleggen, en de tweede te weinig. Een diepgaande analyse van hoe op de “computational level” beperkingen helpen bij het zoeken naar oplossingen voor het leren blijft een belangrijk gebied van onderzoek. Er is enige vooruitgang, maar er is nog veel te doen. De huidige vlakke oplossingen zijn niet bevredigend, en er is nog een hele weg te gaan om te begrijpen hoe het zoeken naar geschikte soorten van onuitgewerkte lagen van voorstellingen geleid moet worden.
The Algorithmic Level
[bewerkingen: op welke wijze doet het systeem wat het doet? Welke beeldvorming gebruikt het en op welke wijze maakt en gebruikt het systeem die beelden?]
We moeten weten welke informatie zich bevindt in de stimulus, en wat de beste manier is om die te gebruiken, maar dat betekent niet dat we weten hoe een systeem deze informatie best benut. Wat zijn de beste bewerkingen en voorstellingen die door dit doel gebruikt kunnen worden?
Het debat hierboven vermeld tussen meer en minder gestructureerde benaderingen om het probleem te omschrijven, leidt ook tot verschillende oplossingen – die allebei veel rekenkracht vereisen. De ene benadering leidt naar het gebruik van Markov-chain Monte Carlo zoekmethodes, terwijl het andere leidt naar een stapsgewijze benadering zoals hedendaagse versies van neurale netwerk modellen, inbegrepen Deep Belief Networks.
Het onderzoek naar de rekenkundige basis van voorstellingen in de hersenen, zoals werd onthuld door opnames van één neuron en meer recent van een groot aantal individuele neuronen terzelfdertijd, lijkt mij een boeiend onontgonnen gebied. Er zijn boeiende ontwikkelingen die tonen dat lagere voorstellingen van het gezicht en gehoor beschouwd kunnen worden als natuurlijke oplossingen die ontdekt werden als antwoord op natuurlijke gezichts- en gehoorsstimuli, en die benadering wordt nu uitgebreid naar voorstellingen op nog diepere niveaus in de hersenen.
The Implementational Level
[architectuur: de uitvoering: uit welke delen bestaat het systeem en hoe hangen die aan mekaar?]
'Cognitieve architectuur' is reeds het onderwerp van artificiele intelligentie sinds de begintijd. De nadruk die erop gelegd werd gaat terug tot Newell en Simon in Carnegie Mellon. Sommige van deze architecturen (vb. ACT-R) zijn vooral bedoeld om modellen van het menselijk kennissysteem te bouwen, terwijl andere (vb. SOAR) vooral bedoeld zijn om artificieel intelligente systemen te bouwen. Een veel voorkomend thema in de literatuur is het combineren expliciet symbolische systemen en impliciete, meer netwerkachtige, subsymbolische componenten. Een zeer recent voorbeeld is SAL, een samensmelten van ACT-R en LEABRA. Ikzelf werk aan een architectuur die volledig subsymbolisch is, maar die kennisprocessen uitvoert die we nu als symbolische uitingen van subsymbolische processen beschouwen.
Een opvallende zaak in al deze benaderingen is dat ze allemaal steunen op de gewone von Neumann computer als de onderliggende computer architectuur. Al hebben zieners gedroomd van fundamenteel meer parallel of hersengelijkende rekensystemen, sinds enige tijd, de voortdurende exponentiele groei in snelheid en geheugen hebben de von Neumann architectuur toegelaten de huidige stevige basis te zijn voor de meeste computer gebaseerde modellen van menselijke kennis, zij het met een zekere graad van multi-processing. Maar misschien bereiken we een singulariteit wat dat betreft. Ik werd onlangs betrokken in diskussies over vier zeer verschillende benaderingen voor een radikale reorgansatie van computing om de parallel en interactieve verwerking; en neuromorphic engineering, voorgevochten door Carver Mead in Caltech twintig jaar geleden, lijkt eindelijk van de grond te komen. Het is goed mogelijk dat binnen tien jaar de vlinder zich eindelijk ontpopt, en echte parallel computing van start gaat.
Verzorging, cultuur en opvoeding
[dit is het vierde niveau, dat McLleland toevoegt aan vorige drie van Marr]
Er is zeker verbetering te verwachten van ons inzicht in de fundamentele uitdagingen in de hierboven genoemde niveaus. Nog een bijkomende stap is de noodzaak te begrijpen wat de rol is van verzorging, cultuur en opvoeding in het structureren van menselijke kennisvermogens (cognitive abilities.) Menselijke mentale vermogens zijn diepgaand gevormd door ervaring, en deze ervaring is gestructureerd door sociale en culturele gebruiken en overheidsinstellingen.
Zelfs in de eerste maanden van het leven, als het kind nog wordt verzorgd in de informele sociale en culturele context van de onmiddellijke familie, treden talrijke belangrijke veranderingen op - in de kennis en in de sociale, emotionele en taalkundige vaardigheden van het kind. Hierbij zijn de ervaringen van het kind van doorslaggevend belang.
De pogingen om te begrijpen hoe menselijke kennisvermogens ontstaan zullen in hoge mate afhangen van ons volledig inzicht in deze invloeden. Het succes in het bereiken van kunstmatige intelligentie die echt gelijkwaardig is aan de mens, kan afhangen van het bouwen van systemen die van deze invloeden gebruik maken.
) 
