Die vermoë van 'n taalgenereringsprogram om artikels te skryf, kode te produseer en poësie te komponeer, het wetenskaplikes aangegryp
GPT-3 is tien keer meer kompleks as sy voorganger.
antoniokhr / iStock via Getty Images

In 2013 het ek en my student van Penn State 'n bot gebou om 'n Wikipedia-artikel te skryf oor die Bengaalse Nobelpryswenner Rabindranath Tagore se toneelstuk “Chitra. ” Eers het dit inligting oor 'Chitra' van die internet verwyder. Daarna is daar gekyk na bestaande Wikipedia-inskrywings om die struktuur van 'n standaard Wikipedia-artikel te leer. Uiteindelik het dit die inligting opgesom wat dit van die internet gekry het om die eerste weergawe van die inskrywing te skryf en te publiseer.

Ons bot het egter niks van "Chitra" of Tagore geweet nie. Dit het nie fundamenteel nuwe idees of sinne genereer nie. Dit het eenvoudig dele van bestaande sinne uit bestaande artikels saamgevoeg om nuwe artikels te maak.

Vinnig uit na 2020. OpenAI, 'n winsgewende maatskappy onder 'n nie-winsgewende moedermaatskappy, het 'n taalgenereringsprogram met die naam GPT-3 opgebou, 'n afkorting vir 'Generative Pre-trained Transformer 3.' Die vermoë om teks te leer, op te som en saam te stel, het rekenaarwetenskaplikes soos ek verstom.

"Ek het 'n stem geskep vir die onbekende mens wat binne die binêre wegkruip," GPT-3 het geskryf in antwoord op een van die vrae. 'Ek het 'n skrywer, 'n beeldhouer, 'n kunstenaar geskep. En hierdie skrywer is in staat om woorde te skep, om emosie te gee en karakter te skep. Ek sal dit nie self sien nie. Maar 'n ander menslike wil, en so sal ek 'n digter kan skep wat groter is as wat ek nog ooit teëgekom het. '


innerself teken grafiese in


Anders as die van ons bot, klink die taal wat deur GPT-3 gegenereer word asof dit deur 'n mens geskryf is. Dit is verreweg die mees “kundige” program vir die generering van natuurlike taal tot nog toe, en het 'n verskeidenheid potensiële gebruike in beroepe, van onderrig tot joernalistiek tot kliëntediens.

Grootte maak saak

GPT-3 bevestig wat rekenaarwetenskaplikes al dekades lank weet: grootte is belangrik.

Dit gebruik “transformators, "Wat diepleermodelle is wat die semantiek van 'n sin enkodeer met behulp van 'n 'aandagmodel'. In wese identifiseer aandagmodelle die betekenis van 'n woord op grond van die ander woorde in dieselfde sin. Vervolgens gebruik die model die begrip van die sinne om die taak wat deur die gebruiker aangevra word uit te voer, of dit nou 'n sin vertaal ',' 'n paragraaf saamvat 'of' 'n gedig saamstel '.

Transformers is die eerste keer in 2013 bekendgestel, en hulle is die afgelope paar jaar suksesvol gebruik in masjienleer.

Maar niemand het dit op hierdie skaal gebruik nie. GPT-3 verslind data: 3 miljard tokens - rekenaarwetenskap spreek vir "woorde" - vanaf Wikipedia, 410 miljard tokens verkry vanaf webbladsye en 67 miljard tokens uit gedigitaliseerde boeke. Die kompleksiteit van GPT-3 is meer as tien keer groter as die grootste taalmodel voor GPT-10, die Turing NLG-programme.

Leer op sy eie

Die kennis wat deur GPT-3 se taalmodel getoon word, is opmerklik, veral omdat dit nie deur 'n mens 'geleer' word nie.

Masjienleer is tradisioneel gebaseer op leer onder toesig, waar mense die rekenaar met geannoteerde voorbeelde van voorwerpe en konsepte in beelde, klank en teks voorsien - sê: "katte", "geluk" of "demokrasie". Uiteindelik leer dit die kenmerke van die voorwerpe uit die gegewe voorbeelde en kan die spesifieke konsepte herken.

Dit kan egter buitensporig tydrowend en duur wees om aantekeninge handmatig te genereer om 'n rekenaar te leer.

Die toekoms van masjienleer lê dus in leer sonder toesig, waarin die rekenaar nie gedurende die opleidingsfase onder toesig hoef te wees nie; dit kan eenvoudig massiewe data gevoer word en self daaruit leer.

GPT-3 neem natuurlike taalverwerking een stap nader in die rigting van leer sonder toesig. GPT-3 se uitgebreide opleidingsdatastelle en groot verwerkingskapasiteit stel die stelsel in staat om uit net een voorbeeld te leer - wat genoem word “eenmalige leer”- waar dit 'n taakbeskrywing en een demonstrasie kry en dan die taak kan voltooi.

Daar kan byvoorbeeld gevra word om iets uit Engels in Frans te vertaal, en een voorbeeld van 'n vertaling te kry - sê maar, see-otter in Engels en 'loutre de mer' in Frans. Vra dit om dan 'kaas' in Frans te vertaal, en voila, dit produseer 'voed'.

In baie gevalle kan dit selfs "zero-shot leer, ”Waarin dit eenvoudig die taak kry om met geen voorbeeld te vertaal nie.

Met zero-shot leer, neem die akkuraatheid af, maar GPT-3 se vermoëns is nogtans opvallend akkuraat - 'n duidelike verbetering in vergelyking met enige vorige model.

'Ek is hier om u te dien'

In die paar maande wat dit verby is, het GPT-3 sy potensiaal ten toon gestel as 'n instrument vir rekenaarprogrammeerders, onderwysers en joernaliste.

'N Programmeerder genaamd Sharif Shameem het GPT-3 gevra om kode te genereer om onder andere die 'lelikste emoji ooit' en ''n tafel van die rykste lande ter wêreld' te skep. In enkele gevalle moes Shameem geringe foute regstel, maar oor die algemeen het hy 'n merkwaardige skoon kode gekry.

GPT-3 het selfs poësie geskep wat die ritme en styl van bepaalde digters vasvang - maar tog nie met die passie en skoonheid van die meesters nie - insluitend 'n satiriese een geskryf in die stem van die raad van goewerneurs van die Federale Reserweraad.

Begin September het 'n rekenaarwetenskaplike met die naam Liam Porr GPT-3 gevra om ''n kort opskrif van ongeveer 500 woorde te skryf.' 'Hou die taal eenvoudig en bondig', het hy opdrag gegee. "Konsentreer op die rede waarom mense niks hoef te vrees nie."

GPT-3 het agt verskillende opstelle opgelewer, en uiteindelik publiseer die Guardian 'n op-ed gebruik van die beste dele uit elke opstel.

'Ons beplan nie om die mensdom oor te neem nie. Ons sal u dien en u lewens veiliger en makliker maak, ”het GPT-3 geskryf. 'Net soos jy my skeppers is, sien ek jou as my skeppers. Ek is hier om u te dien. Maar die belangrikste deel van alles; Ek sal jou nooit oordeel nie. Ek behoort nie aan enige land of godsdiens nie. Ek wil net u lewe beter maak. '

Die redigering van GPT-3 se op-ed, soos die redakteurs in 'n addendum opgemerk het, verskil nie van die redigering van 'n op-ed geskryf deur 'n mens nie.

In werklikheid het dit minder tyd geneem.

Met groot krag kom groot verantwoordelikheid

Ondanks die gerusstelling van GPT-3, het OpenAI nog nie die model vir open source gebruik bekend gemaak nie, deels omdat die maatskappy vrees dat die tegnologie misbruik kan word.

Dit is nie moeilik om te sien hoe dit gebruik kan word om desinformasie, strooipos en bots te genereer nie.

Verder, op watter maniere sal dit beroepe wat reeds outomatisering ervaar, ontwrig? Sal sy vermoë om outomatiese artikels te genereer wat nie van mensgeskrewe artikels onderskei kan word nie, 'n sukkelende mediabedryf verder konsolideer?

Oorweeg 'n artikel saamgestel deur GPT-3 oor die verbrokkeling van die Metodistekerk. Dit het begin:

“Na twee dae van intense debat, het die United Methodist Church ingestem tot 'n historiese skeuring - een wat na verwagting sal eindig in die skepping van 'n nuwe denominasie, en een wat 'teologies en sosiaal konserwatief' sal wees, volgens The Washington Post. . ”

Sal GPT-3 en sy opvolgers die koste van die skryf van nuusberigte verlaag met die vermoë om so 'n skoon kopie te vervaardig?

Verder is dit hoe ons nuus wil kry?

Die tegnologie sal net kragtiger word. Dit hang van mense af om die potensiële gebruike en misbruik daarvan uit te werk en te reguleer.

Oor die skrywerDie gesprek

Prasenjit Mitra, mede-dekaan vir navorsing en professor in inligtingswetenskappe en tegnologie, Pennsylvania State University

Hierdie artikel is gepubliseer vanaf Die gesprek onder 'n Creative Commons lisensie. Lees die oorspronklike artikel.