Het geven van neurale netten aan een aangeboren hersenachtige structuur kan diep leren versterken

Het geven van neurale netten aan een aangeboren hersenachtige structuur kan diep leren versterken

februari 20, 2019 0 Door admin

CBD Olie kan helpen bij ADHD. Lees hoe op MHBioShop.com


Huile de CBD peut aider avec TDAH. Visite HuileCBD.be


Hoe vaak heb je het volgende idee gehoord? Diep leren, de machine-leertechniek die de AI-wereld stormenderhand heeft veroverd, is losjes geïnspireerd door het menselijk brein.

Ik heb de bewering herhaaldelijk herhaald, het is gemakkelijk om te vergeten dat de nadruk ligt op het woord “losjes”. Zelfs onder academici heeft het trekken van deep-learning tot hersenberekeningen ertoe geleid dat mensen zich afvroegen of technieken die voor KI werken, zoals als Bayesiaanse gevolgtrekking – zijn ook aanwezig in de menselijke cognitie .

Maar hier is het ding: voor al hun overeenkomsten met het menselijk brein zijn kunstmatige diepe neurale netten zeer reductieve modellen van de schijnbaar chaotische elektrochemische transmissies die elke synaps van onze eigen hoofden bevolken. Met het big data-tijdperk in de neurowetenschap over ons, waarin we de delicate bedrading en diverse neurale typen (en niet-neuron hersencellen) die bijdragen aan de cognitie, kunnen plagen, lijken de huidige diepgaande leermodellen vreselijk te simplistisch.

Zelfs toen diepgaande leer-doorbraken AIs overwinningen opleverden op mensen in het spel, of een revolutie teweegbrachten in machinevisie, vertaling en andere perceptie-gebaseerde modaliteiten, zijn hun zwakheden steeds duidelijker geworden.

Ze zijn broos, omdat ze niet ver kunnen generaliseren van de voorbeelden waarop ze zijn getraind. Het vragen van AlphaGo om Dota 2 te spelen zal resulteren in uiterste algoritmische verlegenheid. Diepgaande algoritmen zijn ook hebberig, omdat ze (vaak) miljoenen trainingsvoorbeelden vereisen, terwijl mensen, vooral kinderen, met één schot een nieuw concept of motorische vaardigheid kunnen oppikken.

Deze beperkingen , samen met de huidige dominantie van deep learning in AI, hebben zelfs experts ertoe aangezet te vragen of we dicht bij de grenzen van deze one-trick pony zijn .

Niet zo, betoogt Dr. Shimon Ullman aan het Weizmann Institute of Science in Rehovot, Israël. In een toekomstperspectief dat vorige week in Science werd gepubliceerd, voerde Ullman aan dat neurowetenschap nog steeds veel te bieden heeft voor diep leren – en het combineren van de AI-lieveling met hersenachtige aangeboren structuren zou ons kunnen leiden naar machines die zo snel, flexibel en intuïtief leren als mensen .

“Aanvullende aspecten van hersencircuits kunnen aanwijzingen leveren voor het begeleiden van netwerkmodellen naar bredere aspecten van cognitie en algemene AI,” zei Ullman.

Neuronen en leren

Van een hoog niveau, intuïtief concept, diepe leren en neuraal leren klinken opmerkelijk vergelijkbaar. Maar Ullman beweert dat we slechts aan het oppervlak krabben over hoe neurowetenschappen diep leren kunnen ondersteunen.

“Vanuit het oogpunt van het gebruik van neurowetenschappen om AI te begeleiden, is het succes van deze [deep learning] verrassend, gezien de sterk gereduceerde vorm van de netwerkmodellen in vergelijking met corticale circuits,” zei hij.

Over het algemeen is bijna alles dat we weten over neuronen, zoals hun structuur, typen en interconnectiviteit, weggelaten uit deep-learningmodellen. In de afgelopen paar jaar heeft het werk van het Allen Institute for Brain Science en andere onderzoekers meedogenloos de grote verscheidenheid van neuronen in de hersenen gedocumenteerd, elk met zijn eigen vorm, grootte, activeringspatroon en connectiviteit. De opkomst van geautomatiseerde beeldvormingsmethoden op nanoschaal stelt neurowetenschappers in staat de uiteenlopende neuronale populatie van de hersenen te verkennen op een niveau dat nooit eerder kan worden bereikt. En net buiten de vleermuis – van gigantische neuronen die de hele hersenen omwikkelen tot excitatorische neuronen die alleen in de mens lijken te bestaan ​​- is het duidelijk dat er nog zoveel is dat we nog steeds niet weten over de bewoners van onze hersenen.

Elke afzonderlijke neuron – of deze nu downstream-partners opwindt of remt – ontvangt meerdere inputs van zijn processen. Zijn vorm en fysiologie bepalen op zijn beurt hoe het besluit die informatie door te geven. Bovendien ontdekken wetenschappers dat de andere cellulaire inwoners van de hersenen, de vaak over het hoofd geziene glia-cellen en immuunmicroglias, actief neuronale transmissie en informatieverwerking vormen.

“Geen van deze heterogeniteit en andere complexiteiten zijn opgenomen in typische deep-net-modellen, die in plaats daarvan een beperkte set sterk vereenvoudigde homogene kunstmatige neuronen gebruiken,” zei Ullman.

Circuits en leren

Als het gaat om circuitconnectiviteit, stellen biologische neurale netwerken hun kunstmatige tegenhangers ook beschaamd.

Zoals Ullman opmerkt, vangen diepe netwerkmodellen momenteel vroege verwerkingsfasen in perceptie – visie, gehoor enzovoort – in plaats van later, meer cognitieve stappen.

Dit is waarschijnlijk te wijten aan de manier waarop de kunstmatige neuronlagen en hun verbindingen zijn gestructureerd, wat op zijn beurt de inspanningen beperkt die diepgaande leermodellen proberen te begeleiden naar meer cognitief-intense problemen, zoals gegeneraliseerd leren of eenmalig leren.

In de cortex, de buitenste laag van de hersenen, bevatten biologische netwerken extreem rijke verbindingen. Neuronen worden los in lagen verdeeld en ontkiemen verbindingen zowel lokaal als op grote afstand tussen individuen in dezelfde laag. Tijdens vroege hersenontwikkeling, leggen ze ook top-down verbindingen vast van hoge naar lage niveaus in de hiërarchie.

In tegenstelling hiermee zijn de verbindingen tussen kunstmatige neuronen bij diep leren veel eenvoudiger, met weinigen die “top-down” -begeleiding bieden en nog minder met voorgeprogrammeerde “canonieke circuits” die verder kunnen worden verfijnd met leren.

Wat meer is, verschillende circuits in de hersenen praten met elkaar , waardoor de hersenen zich kunnen concentreren op saillante factoren in de omgeving. Schrap of rem de aandachtsmechanismen in de hersenen – in het geval van ADHD bijvoorbeeld – en de leereffectiviteit is sterk verminderd. Wat meer is, neuronen met diverse groepen “stemmen” vaak op een specifiek informatie-spoor. Of dat spoor verder wordt verwerkt en doorgegeven aan het bewustzijn hangt af van de uitkomst van die stemming.

“Het is momenteel onduidelijk welke aspecten van het biologische circuit rekenkundig essentieel zijn en zou ook nuttig kunnen zijn voor op netwerken gebaseerde AI-systemen, maar de verschillen in structuur zijn prominent,” concludeerde Ullman.

Aangeboren structuur kan essentieel zijn

Er is een groot probleem met het gebruik van de hersenen als inspiratie: vaak is het moeilijk om te pesten wat nodig is voor efficiënte informatieverwerking met weinig vermogen en wat er overblijft van de evolutie.

En hoewel sommigen beweren dat het samenstellen van hele hersenen op basis van hun toegewezen verbindingen kan leiden tot algemene AI, is dat misschien niet de beste manier om verder te gaan. Immers, AI is niet gekluisterd door biologische beperkingen – waarom zouden we de bijwerkingen van de evolutie opleggen aan onze algoritmen?

Niettemin stelt Ullman dat neurowetenschap nog steeds de plaats is om naar AI-begeleiding te zoeken.

“Een belangrijke open vraag is de mate waarin de huidige benaderingen in staat zullen zijn om ‘echt’ en menselijk inzicht te produceren, of dat er extra, misschien radicaal andere, richtingen nodig zullen zijn om met brede aspecten van cognitie en kunstmatige algemene intelligentie om te gaan. (AGI), “zei hij.

Een mogelijke richting is om te kijken naar aangeboren cognitieve structuren die bij de geboorte aanwezig zijn in het menselijk brein. Een belangrijke manier waarop diep leren en hersenen verschillen, is in de ‘relatieve rollen van aangeboren cognitieve structuren en algemene leermechanismen’ – in zekere zin, natuur versus opvoeding.

Op dit moment zijn deep-learningmodellen sterk afhankelijk van ‘nurture’, afhankelijk van langdurig leren om hun doelen te bereiken, terwijl mensen vaak vertrouwen op en voortbouwen op specifieke reeds bestaande netwerken die al gecodeerd zijn – door evolutie – in het circuit voordat ze leren.

Zuigelingen bijvoorbeeld, herkennen complexe structuren zoals menselijke handen van nature en leren ze te volgen als ze taken uitvoeren. In feite weten neurowetenschappers nu dat “het menselijke cognitieve systeem is uitgerust met fundamentele aangeboren structuren die de verwerving van betekenisvolle concepten en cognitieve vaardigheden vergemakkelijken”, die op hun beurt bijdragen aan onze superieure cognitieve leer- en inzichtsvaardigheden in vergelijking met deep learning-netwerken, zei Ullman .

Er kan een manier zijn om ‘proto-concepten’ van diepe leeralgoritmen te geven die helpen bij het leren naar een geleidelijke acquisitie en waarmee diepe netten leren om complexe concepten te organiseren met weinig expliciete training. De sleutel is om te onthullen welke biologische circuits ten grondslag liggen aan aangeboren leervaardigheden, zoals aandacht, en deze te implementeren in diepe netten. Bijvoorbeeld, brain mapping-methoden kunnen leiden tot mechanismen die kunnen worden gemodelleerd in deep learning-algoritmen, of wetenschappers kunnen helemaal opnieuw beginnen om een ​​verbindingsstructuur te ontdekken die de AI helpt zijn omgeving flexibel te begrijpen.

Dat is de volgende grote uitdaging, zei Ullman. Maar de potentiële beloningen, zowel voor AI als voor neurowetenschappen , zijn te groot om door te geven.

“Over het algemeen is het computationele probleem van het ‘leren van aangeboren structuren’ anders dan de huidige leerprocedures, en het wordt slecht begrepen. Het combineren van de empirische en computationele benaderingen van het probleem zal waarschijnlijk op de lange termijn zowel neurowetenschappen als AGI ten goede komen en zou uiteindelijk een onderdeel kunnen zijn van een theorie van intelligente verwerking die op beide toepasbaar is, “zei hij.

Beeldcredits : enzozo / Shutterstock.com


CBD Olie kan helpen bij ADHD. Lees hoe op MHBioShop.com


Huile de CBD peut aider avec TDAH. Visite HuileCBD.be


Lees meer