De opmars van kunstmatige intelligentie

[Leon]

Het is een kwestie van zelf vragen aan GPT om dat “bewijs” te leveren.

Het systeem zegt zelf dat het niet specifiek geprogrammeerd is op forumregels, maar als ik deze aangeef dat het zijn best gaat doen.

[chromis]

Edit: LLM = Large Language Model.

Ja nou: het systeem is beïnvloed door alle regels (inclusief forum-regels) die in de input-dataset zaten. Die dataset is gigantisch! Als het resulterende statistische model dan antwoorden oplevert die gebaseerd zijn om de meest voorkomende "regel op 't internet" (zoals: copyright is zeer veelvoorkomend ; geef bronvermeldingen... en: "wees lief" tegen "de anderen") dan is het eerder voor de hand liggend dat een LLM met zoiets op de proppen komt. Wellicht dat de intensieve handmatige na-training c.q. conditionering van het model ook expliciet voorkomt dat het ding zulke regels overtreedt en expliciet zulke regels zelf wil gaan handhaven. Anders zijn de rapen vlug gaar. Ze zijn al gaar, althans volgens dat github-gerelateerde artikel wat ik eerder deelde.

Waar ik (en ik verwacht: ook Roeland) naar zoek ben/ga zijn wetenschappelijke studies c.q. bewijsvoeringen, geen "whitepaper" d.w.z. "sales pitch" van een commerciële entiteit die baat heeft bij mensen die onder de indruk zijn (of: bang zijn), wat betreft "indrukwekkende conversaties". Die conversaties alleen kunnen geen volledige graadmeter zijn, dat lijkt me evident toch?

Edit: lumineus idee? en vast en zeker een verdienmodel... laten we een LLM trainen zodat het mensen overtuigt dat het met de doden kan praten

Wat betreft zo'n wetenschappelijke studie c.q. bewijsvoering,

Om dat te krijgen zal je vermoedelijk een (waarschijnlijk: bewust slim gekunstelde) dataset moeten kunnen voeren aan de/een LLM. De vervolgstap is een objectieve "novelty"-maatstaf waarmee je aantoont dat er zaken uit de LLM rollen die niet in de dataset zaten.

Ik zal de komende weken eens gaan speuren, dit vereist enige diepgang in het analyseren maar ook toepassen van statistische modellen en in het kunnen uitdrukken van "novelty" die objectief te herkennen/matchen is. Van dat laatste ben ik me wel bewust van (zeer abstract) werk. Helaas geen klein weekend-projectje

[Leon]

Bedankt dat je de moeite wilt doen.

Ik had net nog een interessante convesratie met GPT-4. Ik vroeg hoe GPT-4 anders redeneert van GPT-3.5. Het leek zich niet te realiseren dat het zelf GPT-4 was. Toen ik aangaf dat het zelf GPT-4 was ging het even over in ik-perspectief, toen was het al gauw I may… en daarna weer derde persoons-perspectief.

Het is interessant dat GPT over zelf-bewustzijn voor AI ook het een en ander te zeggen heeft. Het geeft als nadeel aan dat het dan zelf doelen gaat stellen. Op mijn opmerking dat zelfbewustzijn mogelijk moet ontstaan om volkomen chaos te voorkomen ging het niet in.

[heeck]

Chromis,

Stochastisch papagaaien komt ook uit mensenmonden en dat maakt het onderscheiden des te lastiger.

Stochastisch verlinken lijkt ook te kunnen. Of zitten mensen ook vaker kwasi-stochastisch in elkaar dan gewenst?

https://bgr.com/tech/chatgpt-gpt-4-foun ... bot-tests/

But the exchange above proves that AI can manipulate real humans.

Roeland

[chromis]

Hallo Roeland,

Ja, het onderscheiden wordt lastiger. Wat vooral vervelend kan gaan uitpakken is de hoeveelheid c.q. snelheid waarmee coherent uitziende (en daarom al voor een deel: overtuigende!) teksten kunnen worden gegenereerd.

Ik moest wel lachen toen ik dit artikel vond, trouwens: https://www.kdnuggets.com/2022/09/john- ... odels.html - er blijkt een "open source" language model te zijn genaamd EleutherAI, die zal vast en zeker ook een hoop kunnen leuteren over vanalles en nog wat.

Dat artikel bevat beschrijft trouwens ook vrij goed wat een LLM (en dus ook GPT) is. Dat werkt wellicht ook ontnuchterend

Ik vraag me af of het mogelijk is om een soort "frequency map" oid te maken van tekst [een "fingerprint' of "signature"], waarmee je (in een bepaalde waarschijnlijkheid, waarschijnlijk ) kan aantonen dat een tekst uit een specifieke LLM komt.

Daarmee zouden GPT-gegenereerde teksten kunnen worden herkend door "plagiaat-scanners". Waar ik werk (op een HBO) gebruiken ze zulke scanners en volgens mij worden verslagen "HBO-breed" (van heel Nederland) op deze wijze gecontroleerd (dat systeem heet Ouriginal, volgens mij). Maar die systemen werken relatief eenvoudig, ten opzichte van dat wat ik me afvraag.

En ik vraag me ook af hoe groot een LLM moet zijn om de illusie van conversatie te kunnen wekken,

Even afgezien van de vraag of LLM's wel die illusie op zichzelf kunnen wekken... of dat om de LLM heen een tweede model (wellicht op basis van een andere techniek?) is aangebracht om bepaalde vraagstellingen te parsen/internaliseren en vervolgens in een LLM-suitable "query" uit te voeren.

Dat is dan weer afhankelijk van de vraag in welke mate LLM's gerelateerd zijn aan de algoritmiek binnen search engines zoals Google: strikt genomen kan je ook vragen invoeren in Google en dan krijg je redelijk goede hits die deze vraag beantwoorden. Maar dan krijg je concrete (singulaire!) bronnen. LLM's antwoorden met een combinatie van alle bronnen, dat is het cruciale verschil tussen een LLM en een "information retrieval"-systeem a la Google.

Wat betreft voorspelbaarheid van mensen,

Ooit hield ik me bezig met parapsychologisch onderzoek — uiteindelijk Susan Blackmore style — en daar werd (zover ik weet) expliciet zichtbaar dat mensen in staat zijn om niet alleen onbewust allerlei patronen in semi-random (dus: niet willekeurig genoeg) data op te pikken: echt volledig willekeurig zijn mensen in het maken van "keuzes" ook niet, d.w.z. ze zijn dan "relatief voorspelbaar".

Dus die eerste vraag over die "frequency map" van tekst is wellicht ook "per persoon" te maken, zou je dan op basis van de stijl (van een persoon) kunnen vaststellen wie het heeft geschreven?

Zou hou je je bezig hè

[HierEnNu]

Dus die eerste vraag over die "frequency map" van tekst is wellicht ook "per persoon" te maken, zou je dan op basis van de stijl (van een persoon) kunnen vaststellen wie het heeft geschreven?

Vervolgens schrijft men dan een opiniërend stuk over een heikel thema, voert dat aan de AI met de opdracht het te vertalen naar de stijl van de populaire Mr.X en hopla, hele volksstammen nemen die opinie over!

[heeck]

Chromis,

Je bericht IS bijna een complete beslissingsboom waaruit ik ter vermeerdering van de droefenis nog wat hints ga nalopen om mijn te antieke neurale-netwerk-kennis wat bij te punten.

Wat betreft voorspelbaarheid van mensen,

Ooit hield ik me bezig met parapsychologisch onderzoek — uiteindelijk Susan Blackmore style — en daar werd (zover ik weet) expliciet zichtbaar dat mensen in staat zijn om niet alleen onbewust allerlei patronen in semi-random (dus: niet willekeurig genoeg) data op te pikken: echt volledig willekeurig zijn mensen in het maken van "keuzes" ook niet, d.w.z. ze zijn dan "relatief voorspelbaar".

En ook nog het rechtvaardigen van kwasi-keuzes gebaseerd op onbestaande verschillen!
Alsof mensen eerder hun gevoel van nattigheid laten vallen dan uitdiepen.
Wat ik daarvan in (kwakzalverij)marketing zie moet zoiets welhaast een evolutionair ingebakken eigenschap zijn:
Eerste gevoelens van (on)zekerheid worden heel gemakkelijk en buitensporig versterkt door opeenvolgende gevoelens van dezelfde aard en in de “juiste” volgorde; dat wil zeggen een of ander patroon vormend.

Het doordenderend vervangen van menselijke contacten door een of ander onnatuurlijk interface schakelt veel natturlijke/onbewuste nattigheiddetectie-eigenschappen uit en/of pakt ze in.

Ons DNA zal dat niet bijfietsen, want partners vinden elkaar tegenwoordig juist met de mobiel in de hand.

Roeland

[chromis]

Hallo Roeland,

Wat betreft neurale netten,

De toverwoorden blijken (wat betreft LLM's) "Transformer Networks" en "Reinforcement Learning From Human Feedback (RLHF)" te zijn.

Mocht je iets met Python kunnen/willen, dan is wellicht spelen met Tensorflow een optie: https://www.tensorflow.org/text/tutorials/transformer

[holog]

Wat betreft neurale netten,

De toverwoorden blijken (wat betreft LLM's) "Transformer Networks" en "Reinforcement Learning From Human Feedback (RLHF)" te zijn.

Mocht je iets met Python kunnen/willen, dan is wellicht spelen met Tensorflow een optie: https://www.tensorflow.org/text/tutorials/transformer

Enkel brut force machine learning onder de vorm van neurale netwerken hebben nogal wat ethische problemen, als llm voor breed public. Het niet transparant zijn , omdat onder andere het een soort van blackbox is.
Ben je het niet eens met dit soort van ethische issues? Of hoe zie je deze aangepakt onder zuivere neurale netwerken.
Het is omwille van de ethische issues dat ze het soort van meer hybriden systemen wensen. Hoe zie je dat ?

[chromis]

Hallo Holog,

In welke mate dit een ethische kwestie is/wordt weet ik nog niet; maar dat komt ook wel omdat ik er vrij sceptisch in sta allemaal. Ik experimenteer (zoals bekend) met de techniek maar ik zou zelf niet echt een toepassing kunnen verzinnen met zulke zaken waarvoor ik... mijn hand in het vuur durf te steken.

Want,

Dat "soort van black-box" is... nog zacht uitgedrukt. Zeer strikt genomen zijn functionerende neurale netten voor ons ondoorgrondelijk. We weten niet hoe en waarom ze tot hun resultaten komen. Deze kwestie doemt ook op als je experimenteert met 'genetische algoritmen'; we kunnen op algoritmische, automatische wijze "circuits" of "matrices" genereren en evalueren terwijl we niet kunnen verklaren (dus: geen garanties kunnen geven) hoe en waarom zo'n "circuit" werkt. We kunnen daarom dus niet garanderen dat "circuits" altijd naar behoren werken, noch kunnen we verklaren waarom bepaalde randgevallen niet werken. Wie is dan aansprakelijk? Oftewel: "wie krijgt de schuld?"

Dit probleem is al aanwezig bij kleine netwerken, laat staan bij een netwerk die op 1000+ RTX3080 GPU's is deployed. Een hybride oplossing kan dit niet ondervangen.

Als iemand bijvoorbeeld besluit om een "Transformer Network" te trainen zodat het sollicitatie-brieven beoordeelt op basis van een training-set dan zal diegene nooit kunnen uitleggen waarom een kandidaat is geweigerd. T'is wel vervelend als blijkt (door steekproeven vastgesteld, o.i.d.) dat het ding racistisch is ofzoiets.

Om die reden bezie ik dit alles (vanuit praktisch oogpunt, vanuit ondernemers-oogpunt) vooral als een kwestie van "accountability" met juridische consequenties. Ik zou verwachten dat het gebruik van LLM's en AI in veel "kritische systemen" in de praktijk beperkt zullen blijven. Maar die verwachting spreek ik uit vanwege mijn aanname dat de "economische winst" t.o.v. "de risico's" voor bedrijven in balans blijft of dat hier wetgeving voor komt. Wellicht dat hoogstens über-grote corporates zich wagen aan zulke technieken. De vraag is ook hoe bedrijfsverzekeraars hier mee om zullen gaan.

[Leon]

We kunnen daarom dus niet garanderen dat "circuits" altijd naar behoren werken, noch kunnen we verklaren waarom bepaalde randgevallen niet werken. Wie is dan aansprakelijk? Oftewel: "wie krijgt de schuld?"

Dat kunnen we ook niet garanderen of verklaren bij mensen. Misschien moeten we “het systeem” gewoon verantwoordelijk houden voor wat we het laten doen.

[holog]

"Humans in humans out"

https://arxiv.org/abs/2303.17276

[Leon]

"Humans in humans out"

https://arxiv.org/abs/2303.17276

Een parodie op “garbage in garbage out” neem ik aan.

Ik denk dat als je domme vragen stelt dat domme antwoorden logisch zijn. Het systeem probeert een tool te zijn die “bruikbaar” is voor de gebruiker, en dat betekent niet hoog op een berg gaan zitten.

[doctorwho]

b]First Doctor Who cannot be Converted to Nothing[/b] (doctorwho) - Deep Dream Generator
drwho.jpg

Leuk ik heb hem uitgeprint

[chromis]

Interessant artikel, holog; dank voor het delen ,

Leon, het zou ook een parodie kunnen zijn op "first in, first out" (FIFO buffers) natuurlijk Maar het is wellicht geen parodie,

Want het onderzoek waar dit artikel over gaat suggereert dat grotere LLM's (maar in dit geval gaat het alleen over GPT-versies) vooral "common-sense oordelen" (van mensen) zullen modelleren. Wat mij betreft intuïtief: je traint eigenlijk naar het "gemiddelde niveau" van de dataset als het gaat om "redeneren". De LLM leert eigenlijk niet "te redeneren" maar reproduceert dat redeneren van de mensen die de teksten (in de input training set) hebben geschreven. De na-training met mensen is de fine-tuning maar hun biases komen vervolgens ook nog eens in het resultaat terug. Er staat ook (in de conclusie) "Remarkably, this also applies to patterns of fallacious judgments.". Dat lijkt mij nogal wiedes eigenlijk, maar dit onderzoek maakt dit expliciet concreet.

Die "Erotetic Theory of Reason" kende ik nog niet, de oplossing voor dit probleem zou dan "synthetische datasets" kunnen zijn. Deze kunnen dan (automatisch?) via/met ETR worden samengesteld. Ze bevatten problematische zaken (en hun oplossingen) waar LLM's expliciet mee getraind kunnen worden.