Thursday, June 24, 2010

// // Leave a Comment

Teenage Theory of Mind and Universe (Excerpts, Part 1) - Theoretical Induction of Neocortex and Hippocampus using Consciousness; Compression ...

If you've followed this blog long enough, you've certainly has read about my mysterious theory.  :))  It's a collection of writings and ideas on philosophy, mind and universe from my late teenage years (Late 2001 - Early 2004).

For patient Bulgarian speakers the originals are still available here:
Български:  http://eim.hit.bg/razum    (Съветвам да четете отдолу (най-стари) - нагоре)Откъси от "Тийнейджърската теория на разума и Вселената" - сбирка от статии, разработки, "трактати" от края на 2001-ва до началото на 2004.  Можете  да видите  откъсите по-долу, но новите допълнителни коментари са само към преведената на английски част, ако знаете английски, предлгедайте и тях.

Some of the topics in these excerpts are:

- Discussion on memory and consciousness
- Theoretical induction of neocortical and hippocampal-like modules in mind, based on consciousness. These modules are called respectively "Executive Operating System (EXOS)/Executive Memory" and "Events Operating System (EOS)/Events Memory"
- Compression and Predictability
- Mind as predictor of future inputs, based on the past
- Cognitive hierarchy and abstraction in mind - higher levels work with ever less amount of information, compress
- Art and compressibility (seems related to Schmidhuber's theories about curiosity)
- Find for yourself
- Have added some new comments on the topics.

Enjoy!

Notes: In square brackets [blah-blah] are comments/clarifications added now, some words and concepts are translated with many words/variants.

Man and Thinking Machine (2001)


"....In human [mind], most of the objects (of any kind) are not remembered "photographically", but are told/narrated in brain; only the most specific features of the informational entities are recorded; the input is compressed. Probably only the basic concepts are stored in "photographic", "phonographic" (audio), "text", "stereographical" (spatial) etc.  memory. (...) 

It's smart the newly arrived input informational entity to be interpreted by the existing concepts, using their labels - links to their meaning,  containing only an "address". We, people, call this kind of memorizing "understanding" and "making sense of" ...." - "


"Informational entity" is a portion of input data, that is analyzed/compressed into patterns.

...

Sections from:

Concept about the Universal Predetermination, a.k.a. "Theory of Universe and Mind", Part 3 (2003)

61. The origination of consciousness is the creation of the first advanced/well-developed/robust ("развит") Operating System for Events - EOS (in Slavic terms it was: събитиен вседържец). EOS stores and processes sequential information from the senses and ensures recording and replaying events (happenings) as on a tape or a disk - a record can be selected and it can be "played-back" in the imagination. 


The first well-deveoped operating system - EOS - is an OS, capable to keep compatibility with the previous versions, while it's being improved over time.

That means, the newer versions of the "formats" for recording memories are backward-compatible with the older ones, so older still can be read, even though the new versions may have extensions.

For example a person may have memories both as a two-year old and from yesterday - our brain has changed through the years, but it apparently has kept its compatibility with the records as a two-year old.

In memory, the old events/happenings (събития) - inputs to memory/records - are one-dimensional, i.e. all can be recalled in an instant. [Associative memory]

If a person is unable to spot anything particular - written, drawn; marked [to recognize, to spot anything recognizable/interpretable, to find a pattern], it's hard to remember it, because he would be supposed to record it as an image, while human brain is weak in remembering single complex images, not connected into a system.

After a person learns to read (has extended the capabilities of the EOS), when text is seen mind remembers not the image, but the letters, the syllables or even whole words. (Which maybe are represented as addresses in memory.) The capability to remember events/happenings (memories), written as text, is an upgrade/extension of the EOS.

However it's also an upgrade of the Executive OS [EXOS], which is more closely related to the "hardware". [More closely related to hardware means lower levels of control/generality.]

The memory for events is a higher level of memory in mind than the executive/action memory. For instance, executive memory is language - a baby says his or her first words usually when 1 year old. Before reaching to the moment after which he or she has memories kept for life, the baby might be using hundreds of words and even construct simple sentences. These words and grammars are [seem to be] a part of the Executive memory of the EXOS.

The abilities to speak; to coordinate his movements - walking, running, sitting, catching; recognize direction of sound; recognize objects; suppose third dimension data from a 2D image etc. are a part of a lower level of the OS of mind and apparently EXOS reaches to a backward-compatible versions much earlier than the EOS.

The first memories for events [biographical memories] display approximately when the first steady-working version of the EOS was finished, usually around 3 years [sometimes between two and three]. Earlier appearance display earlier brain development and this is an advantage for the further development of mind.

[It's related to the maturation of hippocampus, isn't it?]

EOS is more versatile (universal) than the EXOS, because it allows working with more data formats, which are combinations and extensions of the formats of the EXOS.

EOS is more flexible than the EXOS and allows mind to work with more abstract files ("informational entities"; records; patterns), more distant/abstracted than their form as an input. ["Distant" either as amount of transformations from the input to the record, and in space and time]

EOS allows mind to extract executive information from the memory for events, i.e. mind may interpret (reflect) EOS with much bigger delay in time.

Mind can convert memories for events into executive, in a format appropriate for the EXOS, thus EXOS may do particular actions because of events (happening/story/record) stored in the memory for events.

EOS can be seen, to a greater extent than EXOS as a data storage, which however eventually allows inducing sequences of actions/operations - algorithms [to be fed to Executive OS].

On the other hand, EXOS can be seen to a greater extent than EOS as an algorithmic storage. Executive OS uses Executive memory to execute actions. [Memory should be where patterns are stored, "operating system" is the process of activation of particular patterns.]

EXOS and EOS are interconnected and not independent. Features of any of them are features of the others, from particular points of view.

EOS is derived from EXOS.


# END-OF-SECTION


A speculation from now:

- Besides biological imperfections, I guess neuroplasticity may decline in order to preserve mind from "self-amnesia".

There are feedbacks between levels of generality, so they're supposed to adjust in parallel, generalizations should be reinforced/re-checked/re-affirmed; but I wonder what's going to happen with biographical memories, stored using hippocampus and "addresses in memory" (connections).

I've read that hippocampus eventually strengthens networks in neocortex, "transfers memory" there. However, if neocortex changes radically at the lowest levels of generality (or any level?), say if brain is exposed to adapt to a totally different world, I guess those connections may turn not just menaningless, but crazy. On the other hand, addition of higher or parallel levels of generality would not hurt the lower ones.

That's why I suspect that too high neuroplasticity in the lowest levels of generality after higher levels and hippocampus are developed may be dangerous and lead to insanity.

Also, brain is too messy to do real self-rewrite as a future thinking machine would be able to. Brain can't start building an improved "clean copy" and it can't isolate portions of itself from the others.

- Prediction of a "neocortex"-like module - Executive Operating System (EXOS) and executive memory (should be the patterns in the levels of generality)

- Prediction of a "hippocampus"-like module - Events Operating System (EOS)



62. The highest parts of the thinking machine [e.g. consciousness] work at the slowest speed and they output the least amount of information. The lower parts of the thinking machine, and of any machine, work at a higher speed, expressed as information flow/transfer rate.

Full control of a unit over another requires the first to contain in its memory a complete model of the controlled one - a complete model of its behavior - and the contol unit must be capable to simulate it [at least] in real time (...).

"Higher" parts of mind have narrower transfer rates than the "lower", that's why higher parts cannot actually have full control of the lower ones.


[Lower amount of information at higher cognitive levels - higher generality, ever reduced resolution/precision]

63. The more complex the unit/device*, i.e. more information is being transferred [between its parts] during its work, the less controllable it becomes, because it gets harder to find another device possessing enough memory and speed; the "devices" [agents might be a better term] with non-incrementing transfer rate (e.g. humans) may control the more complex devices the less, because their speed and memory gets lesser part of the requirements.

[There were other types of complexity used in the writings also, like one similar to minimal message length/algorithmic complexity, but not precisely defined. E.g. the length of a program written in the "machine code of Universe" which are capable to produce the entity whose complexity is measured, with two options - using or not using external sources for complexity. "Virtual universes" also exist, all environments having "laws of physics" and "matter" to evolve following the laws.
E.g. in this definition of complexity, even very simple artifacts created by humans are more complex than humans, because they require operational humans with developed intelligence, and cannot be created using the laws of physics without intelligent agents. ]

I think the "control" parts might have been partially aimed to show consciousness is just a top of an iceberg of mind, and to shut "Chinese Room" mouths and of those believing that computers do "what we tell them how to do".  What we consciously and voluntary do is pressing a few buttons, our holy free will is encoded in a few bits per second, while the vast accumulated complexity is doing the rest on its own, including suggesting and allowing "us" to press those buttons.

64. People wish for "richness" of the information they perceive, even though huge amounts of that "informational fortune" where mind lives are wasted.
[I.e. mind compresses, generalizes, doesn't use all data it gets.]

Richer in information a "file" [original - свитък, a piece of information, a message] is an entity/whole [a pattern], where predictability of the content of a piece of the pattern, based on other adjacent or related in particular fashion to the first parts of the pattern is close to the predictability in the Reality, in the First Virtual (Imaginary) Universe.

The mind concept (comprehension, understanding) that mind gets from an image, is the same, written as pieces of knowledge [patterns] and their relations.

Understanding shows what transformations can be done with the patterns, which create the file [input, a piece of input, a message...].

Abstract artists' pictures, where there a re no pieces of knowledge, except the most primitive for an image do not contain any meaningful information [or "information for mind", i.e. data that have patterns and can be compressed].
(Such primitive pieces/patterns are e.g. a point, spot, line, seasow line; polygons which mind does not associate with known objects; without 3-rd dimension).

There is meaningful information in images where mind can recognize and call particular objects, parts of objects and their coordinates/relations to each other.

The meaningful idea ("разумна представа") is described with much less information [data] than the image from which it was deduced. [Compression and selection.]

...

E.g. this image has a little knowledge, because it can be easily defined with a cycle in mind, where the changes of the bar of the building are small.
Photographers use to call such pictures "boring" - they bring a little amount of information, which is unpredictable using the precedent information [from the picture or whatever artifact being analyzed].  [This image is very highly compressible.]

Well done art photograph must be balanced: to bring enough information about the subject on the picture, to be clear enough - to be easy to understand what's on the picture, to have a "complete" idea; also, the picture shouldn't be overloaded with details which are distracting attention (are "irritating") and make our sight to roam around the details, searching for a meaning in the picture.

Art photography is based on abstraction and emphasizing of the essential [information]. It's like that also in classical visual art, especially in graphics and caricature.

[Aesthetics is not that simple to define in a few sentences and is subjective. There's "organic/smooth" patterns that seem to make perceptions generally more pleasant than highly compressible high contrast images; also there are high level associations, that pictures bring to us and may make us judge them emotionally etc.; "animate" objects and conflicts like in drama may engage mind to think/predict (interestingness)...]



Dogfight

Lonelyness (The Lonely Station Cat) |  Photos: Tosh (me)

A person creating any kind of art is displaying how the image of what he's creating is stored in his memory and what features of reality are memorized. For example the earliest children drawings just use lines - therefore [perhaps] images are stored as "lines"; lines bring the most possible information, because they are abrupt change between the colour of the paper and the pencil or whatever tool. The youngest mind remembers [maybe implies: recognizes] only the very essential parts of the perceived reality.

Humans don't remember lots of the details in the images. Maybe that's why pictures with lots of details are "irritating". Human mind usually removes the most of the slight details, when it remembers the image as a description of pieces of knowledge, in order to make remembering easier.

It's easier to fill memory using a piece of information [a pattern] to be multiplied with a gradual change, known from the beginning; and by parts of the image to be able to predict, with a higher probability, what's on other parts of the image. [That's easier, than to hold a bitmap copy.]

Human hardly can remember and percept too "plentiful information servings" such as noise:

NOISE: A sequence of characters/symbols, where every following has equal probability to appear and the value of the following characters is fully unpredictable for the one who's trying to predict it [i.e. the *generator* may actually *know* all the symbols and they might be pseudo-random for him, but the *evaluator* doesn't know them and can't predict them].

Mind works with big amount of redundancy in information, in order to predict the future inputs by the past easier and with higher certainty.

#

Български (допълнителните коментари обаче са само към частта на английски! предлгедайте я, ако знаете английски) 


*** При човека, повечето обекти (от всякакъв вид) не се запомнят
"фотографски", а се "преразказват" в мозъка, записват се най-характерните
особености на информационните обекти, входната информация се компресира.
Във "фотографска", "фонографска", "текстографска","стереографска"
(пространствена) и пр. памет вероятно се съхраняват само основните понятия.
(...) Хитро е новопостъпилият информационен обект да се обясни с наличните
информационни обекти. Просто му се дава етикет, а същността му се описва с
известните понятия, като се използват техните етикети - връзки към
значението им, съдържащи само "адрес". Ние хората наричаме такова запомняне
"разбиране" и "осмисляне". - из Човекът и Мислещата машина, Тодор Арнаудов - Тош, 2001

Из "Схващане за всеобщата предопределеност 3" -  Тош, 2003
61. Възникването на съзнанието е създаването на първия развит събитиен вседържец (събитийна операционна система) на човека. Събитийният вседържец запомня и обработва поточна информация от сетивата и осигурява запомнянето и възпроизвеждането на събития като "на лента" или "плоча" - можем да изберем "запис" и да го "прослушаме" във въображението си.

"Първият развит събитиен вседържател" е операционна система, способна при усърършенстването и надграждането си да запазва СЪВМЕСТИМОСТТА с предходните версии. Например форматите за запис на събитийни спомени от "Проявление 1.0" на Развития събитиен вседържец на разума нататък са съвместими един с друг "отгоре надолу" - по-новите версии са съвместими с по-старите, техни разширения.

Например имаме спомени и от двегодишна възраст, и от вчера. Мозъкът ни се е променял през годините, но си е останал съвместим към спомените от двегодишна възраст.

В паметта ни всички събития, когато и да са били въведени в паметта, са разположени едноизмерно и си спомняме за тях мигновено.

Ако не можем да четем и видим нещо написано, е трудно да го запомним, защото трябва да го запомним като цяло изображение, а човешкият мозък е по-слаб в запомнянето на единични - несвързани в система - сложни изображения.

След като се научим да четем (разширим възможностите на Събитийния вседържец), като видим написано слово запомняме не изображението, а буквите, сричките и дори целите думи. (Които може би се представят като адреси в паметта). Способността да си спомняме събития, написани в слово, е надстройка на събитийната операционна система. Същевременно е надстройка и на Изпълнителната, която е в по-пряка връзка с "железарията".

Събитийната памет е по-високо ниво памет в mind, отколкото изпълнителната. Изпълнителна памет е например езикът - детето проговаря, средно, на възраст една година. Преди първите спомени за случки, които оставят за цял живот, то използва стотици думи и построява изречения. Тези думи и граматиките са част от "Изпълнителната памет" на "Изпълняващия вседържец".

Способността да говори; да съгласува движенията си, за да ходи, тича, сяда, хваща; познава посоката на звука; разпознава предмети, предполага за третото измерение от двуизмерни изображения и т.н. са част от по-ниското равнище на Вседържеца на mind - Изпълняващият вседържец (ИВ).
Той стига до получаване на съвместими отгоре надолу версии много по-рано от Събитийния вседържец.

Първите спомени за събития показват приблизително кога е била завършена работеща устойчиво разновидност на Развития събитиен вседържец (РСВ) - обикновено за около 2-3 години след раждането на човека. По-ранното появяване показва по-ранно развитие на мозъка и е предимство за развитието на mind.

Събитийният вседържец е по-универсален от Изпълнителния, защото позволява на mind да работи с по-голям брой формати на данните, които са съчетание и разширение на форматите на Изпълнителния вседържец.

Събитийният вседържец е по-гъвкав от Изпълнителния и позволява на mind да работи с по-отвлечени свитъци (информационни обекти), по-отдалечени от вида им при въвеждането в паметта през чувствениците.

РСВ позволява на mind да извлича изпълнителна информация от събитийната. Т.е. разумът може да тълкува (обмисля) събитийната памет с много голямо закъснение във времето. Разумът може да преобразува събитийната памет в изпълнителна, във формат за Изпълнителния вседържец, който може да извърши определени действия заради събитие, съхранявано в Събитийната памет.

Събитийната памет може да се разглежда, в по-голяма степен от изпълнителната, като хранилище за данни, от които чрез изчисления могат да се извличат последователности от действия - алгоритми.

Изпълнителната памет е, в по-голяма степен от събитийната, хранилище на алгоритми (казбеници), отколкото събитийната; както подсказва името й, за да се извършват действия, се използва Изпълнителната операционна система.

Изпълнителният и Събитийният вседържатели се преплитат и не са независими един от друг. Свойствата на единия са свойства, в определена степен и от определена гледна точка, и свойства на другия. Събитийната операционна система е производна на изпълнителната.



62. Разумът е частта от Мислещата машина, която работи с най-ниска скорост и извежда най-малко информация. По-нисшите части на Мислещата машина, и въобще на всяка машина, работят с по-висока скорост, изразена в информационен поток (въобречие).

Пълна власт на едно устройство над друго изисква управляващото устройство да съдържа в паметта си изцяло паметта на подчиненото, модел на действието му и да може да му подражава с пълна скорост (това са условията за пълноскоростна емулация на една изчислителна машина от друга), за да е способно да ръководи всяка подробност от случващото се на подчиненото.

"По-висшият разум" има по-тясно въобречие от "по-нисшия", затова е обречен да няма пълна власт над него.

63. Колкото по-сложно е устройството, т.е. колкото повече информация се обменя при работата му, толкова е по-неуправляемо, защото е по-трудно да се намери друго устройство с достатъчно обемна памет и бързодействие, в които да се вмести подчиненото; толкова повече устройствата с нерастяща пропускателна способност (напр. човеците) по-слабо го управляват, защото бързодействието и паметта им стават все по-малка част от бързодействието и паметта на устройствата с растяща пропускателна способност, памет и бързодействие.

Най-сложното устройство - цялата Вселена - не може да бъде управлявано от никое друго устройство.

Колкото по-точно устройството знае какво прави - в паметта, достъпна за най-висшите части на управляващата част, е записано с по-голяма точност "какво му е писано" - толкова е по-свободно и същевременно е толкова по-несвободно. По-свободно е, защото прави това, което то "иска", т.е. което е записано в неговата памет; несвободно е обаче според разбирането, че "свобода" означава да не знаеш какво искаш и да не знаеш какво ще поискаш в следващия момент.

64. Човекът милее за "богатство" на възприеманата информация, макар че от цялото "информационно богатство", в което плува човешкия разум, се пилеят огромни "средства".

Информационно по-богат свитък е такава цялост, в която предсказуемостта на съдържанието на откъс от свитъка, въз основа на други, съседни или свързани по определен начин с първите, части от същия свитък се доближава по стойност до предсказуемостта в Действителността, в Първата въображаема вселена.

Разумната представа (съзнанието, разбирането), която получаваме от едно изображение, е същото,описано с късове знание и отношения между тях. Разбирането показва какви преобразователни действия биха могли да се извършат с късовете знания, които се намират в свитъка.

Абстрактните картини, в които не се срещат късове знание, с изключение на най-първичните за изображение (точка, петно, отсечка, начупена линия; многоъгълници, които възприемащият не свързва с познати предмети; без трето измерение), не носят никаква разумна информация.

Разумна информация има в изображения, в които могат да се разпознаят и назоват отделни предмети и части от предмети и взаимното им разположение.

Разумната представа се описва с много по-малко обем информация, отколкото изображението, от което е изведена.
...

Това изображение, например, носи много малко знание, защото лесно може да се опише с цикъл (въртележка) в разума, като промените спрямо цикличното изменение на мотива "ивица от сграда" са малки.
Фотографите наричат такива снимки "скучни" - носещи малко количество непредсказуема, въз основа на предходната, информация.

Добре направената художествена снимка трябва да бъде уравновесена - да носи достатъчно информация за предмета на снимката, да е достатъчно ясна - лесно да се разбира какво е снимано, идеята да бъде "завършена"; не трябва да бъде претрупана с подробности, които отклоняват вниманието ("дразнят") и карат погледа да се лута из изображението, в търсене на смисъла на снимката.

Художествената фотография е свързана с отделяне и наблягане върху същественото. Така е при рисуването, особено при графиката и карикатурата.

Когато човек твори, показва по какъв начин представата за това, което твори, е записана в паметта му и кои особености на действителността се запомнят.

Например малките деца, които правят първите си рисунки, използват черти - следователно в паметта на човека изображенията се записват като черти; чертите носят най-много информация, защото са рязък преход между белия лист и цвета на писалото; най-младият разум запомня само най-съществените части от възприеманата действителност.

Човек не помни много подробности от образите. Може би и затова снимките с много подробности "дразнят".
Човекът обикновено изтрива по-голямата част от дребните подробности, когато запомня изображението като описание на късове знание, за да се опрости запомнянето.

По-лесно е да се запълни паметта с късче информация, която се размножава с постепенна, известна отначалото, промяна; и чрез част от образа да можем да предскажем, с по-голяма вероятност, какво има на друго място от него. Човекът трудно запомня и възприема "обилни информационни порции", каквато е шумът:

ШУМ - последователност от знаци, в която всеки следващ е равно вероятен и стойността на следващите знаци е напълно непредсказуема (за този, който се опитва да предсказва), въз основа на предходните.

Разумът използва голямо излишество на информацията, за да може по-лесно и сигурно да предсказва бъдещите входни данни, използвайки миналите.
Read More

Monday, June 21, 2010

// // Leave a Comment

Criticism on Novamente Cognitive Architecture, SOAR and Alikes | Критика към архитектурата Новаменте, SOAR... Курс по Универсален изкуствен разум

"Back to the Future" - an 80's classic movie and a favorite  

What's wrong with those cognitive architectures claiming to allow creation of Artificial General Intelligence (true Thinking mahichines)?

Какво не е наред в когнитивни архитектури Новаменте, СОАР и др., и защо създателите им са далеч от универсален изкуствен разум 
(истински мислещи машини, или "изкуствен интелект" както е старият лош термин, който повече им подхожда)


In brief, I've been disappointed from the papers on Ben Goertzel's Novamente  cognitive architecture (AGIRI's OpenCog seems similar), because they resemble too much SOAR-like cognitive architectures, rely on NLP, even Prolog-like "common-sense" logic.

Check out some:

http://www.novamente.net/file/AAAI04.pdf
http://goertzel.org/dynapsyc/2009/OpenCogPrime.pdf
http://goertzel.org/dynapsyc/2009/CognitiveSynergy.pdf

I have given up on a Bulgarian one, called DUAL, that uses micro-frames and a hybrid symbolic-connectionnist approach, having several levels of interaction of the entities - micro, macro... It was conceived in late 80-ies, inspired by Minsky's "Society of mind", multi-agent systems, frames, etc... It seems a bit general, but the micro-frames are to be filled manually... Also I don't see any meaningful results, achieved for 20+ years of *work*.

SOAR is "a star", it was created in late 80-ies as well, and while enhanced over time, again I haven't heard of any meaningful application of it (actually any at all), demonstrating AGI. Correct me if I'm wrong.



Architectures like this seem very elaborate at first sight, having fancy block-diagrams: they use to claim having declarative memory, episodic memory, intentional memory, attention, working memory - prides of Cognitive Science - proven experimentally to exist in human mind! They have knowledge-bases (Cyc-style are the best!), problem space, goal-states... I guess these kinds of "knowledge" are supposed to be filled *manually*, somehow like in the NLP semantic dictionary - WordNet.

I like very much the 80-ies style, I somewhat like 70-ies and 60-ies (also 50-ies),  but not really the AI-style.

Papers, journals, conferences on "Recent Advances in AI", PhDs...  And anything to impress anybody outside the conference rooms?... (Correct me if wrong)

Novamente is supposed to be better than SOAR, they claim to use probabilistic inference, trying to integrate smoothly different kinds of memory - in a really general AGI framework all those "kinds of memory" are supposed to emerge from something more general.  Novamente may work to some extent, but to me these high-level concepts, sticked together with "glue", don't look really smooth to evolve and learn well. 
 
However I partially understand guys who try to do something to seem meaningful and to sell it right now, an elaborated architecture with many blocks inside, socially acceptable and "scientifically proven" constructs might be taken more seriously than elegant abstract definitions. But:

A rule of thumb:  if an approach was feasible, for 20-some years of *work* it should had lead to a progress. To me so far it seems the same.
 
In the upcoming years, expecting:


Други ключови думи: Универсален изкуствен разум, Новаменте, когнитивни архитектури, СОАР, високо ниво, правила за извод, изкуствен интелект, Пловдив, ПУ, ФМИ, мислещи машини

Read More

Saturday, June 19, 2010

// // Leave a Comment

Comments on "Chaotic Logic" | Коментар към книгата на Бен Гьорцел "Хаотична логика" - към курса по Универсален изкуствен разум в ПУ

I've been checking out some of Ben Goertzel's works:


Read it at: http://www.goertzel.org/books/logic/contents.html

Chaotic Logic
Language, Thought and Reality
From the Perspective of Complex Systems Science

Ben Goertzel

Chairman and CTO Intelligenesis Corp.
Paper Version published by Plenum Press, 1994

What I liked:

- "Pattern and Prediction" (Ch. 2) 
- "The structure of thought" (Ch. 3) - multilevel control (hierarchical control)
- "Psychology and logic"  (Ch.4)
- Coverage of history of AI/logic/linguistics, good knowledge on particular philosophers, linguists etc.
- Different definitions of complexity

E.g. this lines on patterns: (Ch.2):

...Before getting formal, let us first take a quick intuitive tour through the main concepts to be discussed. The natural place to begin is with the concept of pattern. I define a pattern, very simply, as a representation as something simpler
(...)
In general, a pattern is a short-cut -- a way of getting some entity that is in some sense simpler than the entity itself. A little more formally, suppose the process y leads to the entity x. Then y is a pattern in x if the complexity of x exceeds the complexity of y....
, B. Goertzel, 1994
Also, "the amount of structure":

...These concepts may be used to measure the total amount of structure in an entity -- a quantity which I call the structural complexity. The definition of this quantity is somewhat technical, but it is not hard to describe the basic idea.

If all the patterns in an entity were totally unrelated to one another (as, perhaps, with this picture of the square next to the circle discussed above), then one could define the structural complexity of an entity as the sum of the complexities of all its patterns.

But the problem is, often all the patterns will not be totally unrelated to each other -- there can be "overlap." Basically, in order to compute the structural complexity of an entity, one begins by lining up all the patterns in the entity: pattern one, pattern two, pattern three, and so on.

Then one starts with the complexity of one of the patterns in the entity, adds on the complexity of whatever part of the second pattern was not already part of the first pattern, then adds on the complexity of whatever part of the third pattern was not already part of the first or second patterns, and so on.... B. Goertzel, 1994...

I think it's in the right direction of compression and prediction.

A discussion on Nietzsche and logic at Ch. 4  :

Nietzsche declared consciousness irrelevant and free will illusory. He proposed that hidden
structures and processes control virtually everything we feel and do. Although this is a commonplace observation now, at the time it was a radical hypothesis. 
Nietszche made the first sustained effort to determine the nature of what we now call "the unconscious mind." The unconscious, he suggested, is made up of nothing more or less than "morphology and the will to power." The study of human feelings and behavior is, in Nietszche's view, the study of the various forms of the will to power.
(...)
... Note how different this is from Mill's shallow psychologism. In the Introduction I quoted Mill's "derivation" of the Law of Excluded Middle (which is equivalent to the law of contradiction, by an application of deMorgan's identities).  Mill sought to justify this and other rules of logic by appeal to psychological principles. 

In Mill's view, the truth of "A or not-A" follows from the fact that each idea has a "negative idea," and whenever an idea is not present, its negative is. This is a very weak argument. One could make a stronger psychological argument for the falsity of "A and not-A" -- namely, one could argue that the mind cannot simultaneously entertain two contradictory ideas.

But Nietzsche's point is that even this more plausible argument is false. As we all know from personal experience, the human mind can entertain two contradictory ideas at once. We may try to avoid this state of mind, but it has a habit of coming up over and over again: "I love her/ I don't love her", "I want to study for this test/ I want to listen to the radio instead".

The rule of non-contradiction is not, as Mill would have it, correct because it reflects the laws of mental process -- it is, rather, something cleverly conceived by human minds, in order to provide for more effective functioning in certain circumstances.

 ...One rather simplistic and stilted way of phrasing Nietszche's view of the world is as follows: intelligence is impossible without a priori assumptions and rough approximation algorithms, so each intelligent system (each culture, each species) settles on those assumptions and approximations that appear serve its goals best, and accepts them as "true" for the sake of getting on with life. Logic is simply one of these approximations, based on the false assumption of equality of different entities, and many auxiliary assumptions as well....  B. Goertzel, 1994


Disliked:

What I generally didn't like is too high a level speaking, too much typical syntax-semantics-symbols Linguistics, Psychology, NLP and philosophy; couldn't see "good physics" thus couldn't really sustain reading all in details.

I suggest : What's wrong with NLP... series: http://artificial-mind.blogspot.com/search?q=What%27s+wrong+with+NLP

A curious fact is that a Bulgarian humanoid robot project Kibertron mentions "Chaotic logic computer" in their brief explanation of their "theory of natural intellect", don't know is it related to the book. Unfortunately the company claims they need 5 million Euro to make this "natural intellect" working, together with the robot.

A general advice on reading 

Use your time wise, don't read thoroughly too much. Try to understand when reading more in a topic would be worthless. A very little essence would last in your mind and would make real sense, the rest and most might be just time passed without memories and without work done.

The talk on "saturation of learning" will be continued.
Read More

Tuesday, June 15, 2010

// // Leave a Comment

How Brain Works. Minicolumn Hypothesis. Consciousness. Neurotransmitters and Drugs. Human Evolution. Transhumanism and Other Materials.

Как работи мозъкът. Хипотезата за миниколоните в неокортекса като градивен елемент на разума. Съзнание. Еволюция на човека. Трансхуманизъм. Класическо кондициониране и други интересни материали.

Some cited from Boris Kazachenko's knols, pointed by himself or commenters, some suggested by me, browsing around.


  • На български, бърз курс за работата на мозъка и допълнителни връки в моята лекция от курса по Универсален изкуствен разум (Brain Architecture): 

    http://research.twenkid.com/agi/Brain_Architecture_22_4_2010.pdf

  • The brain from top to bottom -  comprehensive, well-structured and well explained in short linked articles - check it out! 

    http://thebrain.mcgill.ca/flash/index_i.html


    Как работят наркотиците, как наркотиците въздействат на невротрансмитерите и невроните в мозъка (анимирано)
    How drugs work, how drugs affect neurons (animated):
    How drugs affect neurotransmitters:

    http://thebrain.mcgill.ca/flash/i/i_03/i_03_m/i_03_m_par/i_03_m_par_alcool.html#drogues

  • The minicolumn hypothesis in neuroscience:

    http://brain.oxfordjournals.org/cgi/content/full/125/5/935

    See also, though: Confusing cortical columns, Pasko Rakic* :  

    http://www.pnas.org/content/105/34/12099.full

  • Функционални различия между лявото и дясното полукълбо на мозъка:
    Left and Right hemisphere functional differences of the brain:

    The Split Brain - Revisited, By Michael S. Gazzaniga
    About 35 years ago in Scientific American, I wrote about dramatic new studies of the brain.


    http://courses.dce.harvard.edu/~phils4/splitbrain.pdf
  • ASD (Autistic spectrum disorder) as a Developmental Disorder - A Suggested Neurological Underpinning

    http://a-shade-of-grey.blogspot.com/2007/06/asd-as-developmental-disorder-suggested.html

  •  Partially enhanced thalamocortical functional connectivity in autism

    http://www.sciencedirect.com/science?_ob=ArticleURL&_udi=B6SYR-4KBVWWG-6&_user=10&_rdoc=1&_fmt=&_orig=search&_sort=d&view=c&_acct=C000050221&_version=1&_urlVersion=0&_userid=10&md5=15fe0f3f8ff41c1068ee8fe1ac0a4fd0
  • Teenage Brain: A work in progress (Fact Sheet)

    http://www.nimh.nih.gov/health/publications/teenage-brain-a-work-in-progress-fact-sheet/index.shtml

  •  Competing for Consciousness:  A Darwinian Mechanism at an Appropriate Level of Explanation, By William H. Calvin

    http://williamcalvin.com/1990s/1998JConscStudies.htm

  • Human neurophysiology: a student text By Oliver Holmes

    http://books.google.com/books?id=ql4VAAAAIAAJ&pg=PA197&lpg=PA197&dq=neocortex+myelination+age+sequence&source=bl&ots=csg_LPPfSY&sig=ruo4Acyh2GZBrVDvC-I5daA-xyU&hl=en&ei=LGESSoTIPJiu8QSH7aSQBA&sa=X&oi=book_result&ct=result&resnum=8#v=onepage&q=neocortex%20myelination%20age%20sequence&f=false


    Other materials

    Accelerating Future: Transhumanism, AI, nanotechnology, the Singularity, and extinction risk:

    http://www.acceleratingfuture.com/michael/blog/category/ai/

  • Leonid Perlovsky's works, Dynamic Logic, Knowledge Instinct, Neural modeling fields

    http://en.wikipedia.org/wiki/Leonid_Perlovskyhttp://www.leonid-perlovsky.com/research.htm#tki


  • Classical Conditioning experiment with a baby, taught to be afraid of rats, eventually any furry objects. Displays also stimulus generalization. Immoral, but interesting:

    Little Albert experiment:
    http://en.wikipedia.org/wiki/Little_Albert_experiment

  • Human Evolution:

    http://www.evolution-of-man.info/

  • Obstetrical Dilemma:

    http://en.wikipedia.org/wiki/Obstetrical_Dilemma

    --> bigger the brain/head of proto-human baby
    --> harder birth and dependent on help from others (obstetrician)
    --> shorter the pregnancy in order the baby to get ouf of the mother's pelvis
    --> more immature newborn baby
    --> more underdeveloped brain of the baby (20-25% fully developed, vs 45-50% in chimps)
    --> baby is more dependent on mother's care for a longer time
    --> mother is dependent on others' carе
    --> family, division of labour, society

    "Акушерската дилема" в еволюцията на човека

    --> по-голям мозък/глава на бебетата на еволюционните предци на човека
    --> по-тежки раждания и зависимост от чужда помощ (акушерки)
    --> по-кратка бременност, за да може бебето да се промуши през тазобедрената става на майка си
    --> по-недоразвито новородено
    --> по-недоразвит мозък (20-25% напълно развит при човека, докато 45-50% при шимпанзетата)
    --> бебето е по-зависимо от грижите на майка си за по-дълъг период
    --> майката е по-зависима от грижите на другите
    --> семейство, разделение на труда, общество

  • Brain development and the female pelvis

    http://www.evolution-of-man.info/pelvis.htm

Enjoy!

Read More

Friday, June 11, 2010

// // 2 comments

Любовта и страха, или защо е хубаво да обичаш - окситоцин и кортизол | Love and Fear, or Why Love is Good for us - Oxytocin vs Cortisol

Crushed, 2006 by Tosh

A very nice article on love, oxytocin and cortisol. English speakers may read it there: Love and Fear by Gary Wilson and Marnia Robinson.

Любовта и страха 

 Гари Уилсън и Марния Робинсън

Превод: Тодор Арнаудов (със съкращения)

Различни духовни учения твърдят, че има само две основни чувства: любов и страх. Изглежда, че това определено е вярно поне за тялото. Всички бозайници, включително човека, имат двa противопоставящи се хормонални отговори на стимули. Застрашаващите стимули причиняват увеличение на хормоните на стреса: адреналин и кортизол. От друга страна, успокояващите и насърчаващите стимули причиняват увеличение на нивото на окситоцин.


Сблъсък с внезапна заплаха отключва отговорът "бягай или се защитавай" (fight-or-flight), който е свързан с адреналина. Адреналинът ускорява пулса и вдишванията, задейства мускулите и съдейства за свръх-будност, готовност за реакция. Дълготраен стрес (от няколко минути до дни и седмици) увеличава друг стресов хормон: кортизол. Кортизолътсъщо ни прави свръх бдителни, но еволюционната му функция е съвсем различна от временното "надрусване" с адреналин, предназначено да ни помогне да избегнем опасност.


Стресът, с който са се сблъсквали нашите ловуващи и събиращи еволюционни, предшественици е бил основно физически, не емоционален - най-основните типове вероятно са били глад, дълги преходи и тежки наранявания. Ако се наложи, кортизолът започва да разрушава не-жизненоважни органи и тъкани, за да задържа нивото на кръвната захар и да изхранва жизненоважните органи. Когато нивото на кортизола стои високо, започват да се смилат костите, мускулите и ставите, за да се извлекат техните хранителни съставки. В крайна сметка се получава повишено ниво на мазнини и захари в кръвта, което е свързано с много заболявания. Друг страничен ефект е чувството за глад; търсим по-висококалорични храни. Най-големите дълготрайни стресиращи фактори днес обаче са емоционални и умствени, не физически. Всъщност ние сме "нов" научен експеримент. Сблъскваме се с нови форми на опасността да останеш без работа, натиска от участието в тътреща се колона от автомобили в задръстване; медиите които бълват новини всяващи страх; сътресенията в любовните ни отношения и т.н. Въпреки че това не са физически заплахи, тялото ни има само един автоматичен отговор на тях и той е: кортизол. Кортизолът има много тежък ефект върху тялото и всички тези емоционални заплахи непряко се првръщат във физически.


За щастие, притежаваме вграден механизъм за борба със стреса, който образува основите на другия начин да отговаряме на стимули. В този механизъм основна роля има друг хормон, наречен окситоцин. Освен функцията му да поражда емоционални връзки, при раждане и за отделяне на кърма, както беше открито неотдавна окситоцинът неутрализира действието на кортизола. Това е начин за постигане на по-добро здраве чрез напълно естествени средства.


 Страх - Кортизол 

 - Агресивност, възбуда, тревожност, притесненост.

 - Задейства механизми на пристрастяване. 

- Намалява половото влечение. 

- Свързан е с депресията. 

- Може да е токсичен за мозъчните клетки. 

- Разрушава мускули, кости и стави.

 - Потиска имунната система. 

- Увеличава блката. 

- Стяга артериите, повишава риска от сърдечно-съдови заболявания и високо кръвно налягане

 - Наднормено тегло, диабет, остеопороза. 


  Любов - Окситоцин 

- Анти-стресов хормон. 

- Чувство на спокойствие и съпричастност. 

- Увеличено любопитство.

 - Намалява ненаситните желания и пристрастявания (към наркотици, сладко). 

- Увеличава сексуалната възприемчивост. 

- Положителни чувства. 

- Улеснява ученето. 

- Поправя, лекува и възстановява тялото. 

- Ускорява зарастването на рани. 

- Намалява усещането на болка. 

- Намалява кръвното налягане и намалява риска от сърдечно-съдови заболявания.


Както се вижда, почти всички отрицателни страни от продължителен стрес върху тялото и ума са свързани с повишено ниво на кортизол. Това включва: хронична тревожност и тъга/депресия, емоционална свръх-реакция, негативизъм, наддаване на тегло, сърдечни болести, високо кръвно и отслабена имунна система. От друга страна чрез неутрализирането на кортизола, окситоцинът може да облекчи тези състояния и някои други (виж по-долу списък с последни открития). Многобройни дейности могат да произведат окситоцин: медитация, йога, физически упражнения, масаж, грижа за животно, включване в група, литургии и т.н. Един от най-важните начини за намаляване на стреса и увеличаване на нивото на окситоцин обаче е в интимните ни отношения. В "Любов и оцеляване", д-р Дийн Орниш посочва, че любовта и интимността са толкова мощни определители на здравето ни, че ако можеше да се произвеждат под формата на лекарства, докторите които не ги предписваха на болни пациенти щяха да бъдат обвинявани в лекарска небрежност... 

Между другото, човек може да се запита защо просто не взимаме хапчета окситоцин за да увеличим нивото му? За съжаление, окситоцинът не може да премине границата кръв-мозък, освен под формата на спрей за носа. Дългата употреба на окситоцин по този начин обаче може да причини амнезия, халюцинации и неравновесие на електролити и хормони. За да получим само ползите от окситоцина, трябва или да произвеждаме окситоцин по естествен път в мозъка или да го инжектираме с голяма прецизност в точно определена малка област от мозъка, чрез специално оборудване... Прякорът на окситоцина е “хормон на връзките" и "хормон на гушкането". Мозъкът произвежда окситоцин по естествен път, когато обичаме, сме обичани, грижим се един за друг, себеотрицавайки се за другите, или когато се докосваме с любов. Окситоцинът не е в основата на похотта или изгарящото сексуално желание, въпреки че е свързан със сексуалността. (...)

 

Окситоцинът съвпада с Любовта - не можем да се влюбим без него. Кортизолът съвпада със страха...


Тези два разлини хормона пораждат противоположни емоции, също както чувствата любов и страх отключват производството на тези хормони. С други думи, химичните вещества в мозъка и поведението са взаимносвързани и с известна доза осъзнаване и решителност, можем съзнателно да насочваме поведението си към поддържане на съвършен хормонален баланс.

Между другото окситоцинът е изключително особен невротрансмитер: колкото повече произвеждаме, толкова по-силно тялото и умът ни реагират на него. При стимулация с окситоцин, по нервните клетки израстват повече рецептори, правейки ги по-чувствителни за ефектите му. Става все по-лесно да обичаш...


Окситоцинът е неврхохимичната основа на поговорката "Колкото повече даваш, толкова повече ще получиш". Любовта ражда любов и страхът ражда повече страх. Последни открития, показващи силата на окситоцина: 


 - Окситоцинът намалява страха. Увеличените нива на окситоцин потискат реакцията на мозъка от тип "бягай или се бий". (Huber, 2005)

- Окситоцинът ускорява оздравяването. Наранени хамстери оздравяват два пъти по-бързо, когато живеят заедно с брат или сестра, отколкото ако са оставени в изолация (DeVries, 2004). 

- Окситоцинът противодейства на апетита за сладко. (Billings, 2006).

- Окситоцинът намалява антисоциалното поведение. Поставянето на инжекция окситоцин нормализира социалното поведение на животни с шизофрения. (Lee, 2005)

- Окситоцинът насърчава здравословно социално поведение. Инжектирането на окситоцин намалява симптомите на аутизъм.. (Hollander, 2003)

- Окситоцинът намалява пристрастяването. Когато учени го инжектирали на гризачи, пристрастени към кокаин, морфин или хероин, плъховете се установяват на по-ниски дози дрога или са показали по-слаби симптоми на абстиненция (withdrawal). (Kovacs, 1998)

- Окситоцинът успокоява. Инжектиран на плъх му действа успокояващо, поставен в цяла клетка, пълна с разтревожени плъхове. (Agren, 2002)

- Нивата на окситоцин са по-високи и при мъжете, и при жените, които са споделили за повече подкрепа от страна на своите партньори. (Grewen, 2005)

- Изглежда, че окситоцинът е главната причина защо SSRI’s намаляват симптомите на депресия - може би защото високите нива на кортизол са главните виновници за депресията и тревожността (Uvnas-Moberg, 1999)

- Окситоцинът увеличава сексуалната възприемчивост и противодейства на импотентността, което обяснява защо този друг начин за правене на любов продължава да носи удоволствие. (Pedersen, C.A., 2002), (Arletti, 1997)

- Окситоцинът противодейства на ефекта на кортизола - хормонът на стреса. Повишените нива на окситоцин в мозъка намаляват нивата на кортизол в кръвта. (Legros, 2003)

- Окситоцинът може да увеличи продължителността на живота. Дружбата и общуването могат да увеличат продължителността на живота - дори за ХИВ-позитивни (Young, 2004). Също така, окситоцинът може да обясни защо сред различните видове примати, тези които се грижат за малките си, живеят значително по-дълго, без значение от пола им. (Cal Tech, -1998)
Read More

Monday, May 24, 2010

// // Leave a Comment

Rejuvenation Talk by Aubrey de Grey at Singularity Summit 2009 | Лекция за бъдещето на технологиите за подмладяване

Aubrey de Grey at Singularity Summit 2009 -- The Singularity and the Methuselarity: Similarities and Differences from Singularity Institute on Vimeo.



Keywords: singularity, methuselarity, rejuvenation, longevity, gerontology, подмладяване, стареене, Обри, дьо, де, Грей, Сингулярност, Singulaity
Read More
// // 11 comments

Thalamic Dopamine D2 Receptor Densities Are Negatively Related to Psychometric Creativity in Healthy Individuals (Paper about Creativity and Brain)


An interesting paper about the correlation between creativity ("thinking outside the box") and the density of dopamine receptors in thalamus and cortex.

Thinking Outside a Less Intact Box: Thalamic Dopamine D2 Receptor Densities Are Negatively Related to Psychometric Creativity in Healthy Individuals



Read More

Sunday, May 23, 2010

// // Leave a Comment

The NLP Researchers cannot understand language. Computers could. Speech recognition plateau, or What's wrong with Natural Language Processing? Part 3

Thanks to my friend O.G.I, for sharing the link below, about the plateau in Speech Recognition software.

Rest in Peas: The Unrecognized Death of Speech Recognition

If you check this out (specialized NLP training is not needed to see)

What's wrong with Natural Language Processing? Part 2. Static, Specific, High-level, Not-evolving...

And this simple generalisation: Language is a hierarchical redirection/abstraction/generalization/compression of sequences of [multi-modal] sensory inputs and motor outputs, and records and predictions for both.  (me) 

You'll get what causes the plateau - why NLP, parsing, speech recognition or whatever would stay at their dead-end forever if it doesn't change radically.

I especially enjoy this one:

"...To some, these developments are no surprise. In 1986, Terry Winograd and Fernando Flores audaciously concluded that “computers cannot understand language.” In their book, Understanding Computers and Cognition, the authors argued from biology and philosophy rather than producing a proof like Einstein’s demonstration that nothing can travel faster than light...."

So silly.  The same goes for any similar sentence of retired AI-niks, because they're actually saying this:

Computers cannot understand language [or think], because computers do exactly what they, those retired AI researchers, program them to do. Besides, machines lack free-will, also you know - Goedel incompleteness, quantum-mechanical blah-blah-blah etc. 

However, this implies that computers just execute their programmers' instructions,  therefore it is not the computers who cannot understand language, it is their incapable programmers.


It is the Programmers and old-fashioned AI-niks doing NLP who cannot understand language, not the computers.

NLP programs are playing with words in dictionaries, while mind is playing with multi-modal pre-processed raw sensory inputs. An AGI is needed to make speech recognition correct, this is what should be worked on.

"...So not everyone agreed. Bill Gates described it as “a complete horseshit book” shortly after it appeared, but acknowledged that “it has to be read,” a wise amendment given the balance of evidence from the last quarter century."

Hmmm, Bill is cool!  :) 

http://www.sadanduseless.com/2010/05/steve-jobs-vs-bill-gates/

Read More

Saturday, May 22, 2010

// // Leave a Comment

Юрген Шмидхубер - красотата, любопитството, машината на Гьодел. Курс по Универсален изкуствен разум, Други учени и насоки за изследванe.(Част 2 от ..)

Юрген Шмидхубер е един от водещите учени в УИР, твърди че неговата амбиция е да създаде съвършения учен - машината на Гьодел, която решава всякакви задачи. Занимава се с рекурентни невронни мрежи, т.нар. LSTM - Long Short Term Memory, които имат някои от възможностите на HTM като предсказване и йерархичност. Пише за универсални алгоритми за самообучение; за красотата и изкуството и връзката им с принципите на универсалния разум, подобно на това което си говорихме в седмата седмица, но в математически издържана форма. Може би ще поговорим още малко за красотата, интересността и любопиството в осмата (на 28-ми май).

В сайта на Ю. Шмидхубер: http://www.idsia.ch/~juergen/ може да откриете много материал за четене, препоръчвам ви да гледате презентацията му на Singularity Summit 2009. Освен интересна, е много забавна и смешна.  :)
Алгоритмични принцип на любопитството, интересността и красотата (на английски)

Jürgen Schmidhuber at Singularity Summit 2009 - Compression Progress: The Algorithmic Principle Behind Curiosity and Creativity from Singularity Institute on Vimeo.




Keywords: Jurgen, Juergen, Schmidhuber, Creativity, Beauty, AGI, UAI,
Read More

Tuesday, May 18, 2010

// // Leave a Comment

Курс по Универсален изкуствен разум, Други учени и насоки за изследванe. (Част 1 от ...)

Здравейте, колеги,

Записах малко допълнителни материали за по-любознателните от вас, за пропуснатите часове. До края на курса или след него може да има още.

Видеолекциите от мен тук са около 24 - 25 минути.

Ключови думи: Хуго Де Гарис, Маркус Хутер, Шмидхубер, Йордан Янков, СФЕРА, Кибертрон, Лятно училище по УИР в Зямен (Xiamen), Бен Гьорцел, FPGA, УИР, AGI

1.avi
6:05 Хуго де Гарис, Хутер, Де Гарис, Лятно училище в Зямен 1, AGIRI, Adaptive AI - SmartAction, ...

Тук може да чуете впечатляващите записи на реални диалози между хора и агента на Adaptive AI "Smart Action": Демота на Smart Action

Забележете как клиентите прекъсват агента и говорят през него, и той ги чува и се поправя. Показва разпознаване на свързана реч, разбиране на естествен език и разговорът е на човешко ниво, но в ограничена област - поръчки.

2.avi
3:26 Кибертрон, Йордан Янков; аналогов разум; Бен Гьорцел, Хаотична логика; блогове

3.avi
1:20 Лятно училище по УИР, Китай

4.avi
3:30 СФЕРА, Йордан Янков, Кибертрон

5.avi
9:45 McGovern Institute, FPGA

...

Вижте и видео от DARPA Urban Challenge - състезанието за коли-роботи, които се управляват съвсем сами в градски условия. :) В свързаните видеа има от по-ранен етап на проекта - DARPA Grand Challenge, където колите карат в извънградски условия и без трафик.





Един линк от колегата Красимир Василев. Забавно видео за способността на Азимо освен да ходи, да посяга към предмети като бебе, да ги разпознава, да прави прости обобщения и малко да разпознава реч.





На любознателните препоръчвам канала на Тим Тайлър в Ютюб:

http://www.youtube.com/user/tmtyler

Отшелническият му външен вид е леко притеснителен :) и говорът малко монотонен (някои записи имат и текстова версия), но Тайлър е сериозен и задълбочен мислител и разглежда най-различни интересни въпроси за бъдещето, живота и разума, а във видео записите включва интересни откъси от презентации на големите учени от универсалния изкуствен разум.




Read More

Saturday, May 1, 2010

// // 3 comments

Thalamic Nuclei - primary causes for Mirror Neurons? |Human Face - Important Aspect of Evolution | Cingulate Cortex | Nature or Nurture


a face in action

Regarding mirror neurons and early facial expression imitation, another hypothesis. Continues from:  Learned or Innate? Nature or Nurture? Speculations of how a mind can grasp on its own: animate/inanimate objects, face recognition, language...



Emotional facial expressions are innate, I remember a many decades old research on understanding facial expressions around the world, which shows that we're compatible at emotions expression level, no matter of culture and the level of society development. I think this was proven thousands of times by Cinema, and it matches with the hypothesis that emotions are driven by older parts of the brain: Cingulate Cortex --> Fornix --> Thalamus --> Hippocampus --> Neocortex.

The Neocortex eventually learns to control face as well, and good actors do it well, however, being an actor myself, I would say that good acting involves feeling the emotions of the character, "living a part", which goes below neocortex. Indeed, I believe this is easier, because it happens partially subconsciously and automatically.

Perhaps neocortex "calls" or better "recalls" and "reruns" complex functions from the lower parts - memories of already felt emotions or better - situations when emotions were felt. On the other hand, bad actors probably do not feel, because cannot recall emotional memories so well. Bad actors are trying consciously /mechanically to pull-up/pull-down facial muscles which makes their faces to look unrealistic and unconvincing (like if their characters felt nothing or something inappropriate). Perhaps, because conscious cannot do control precisely in parallel so many muscles, and maybe because these muscles are too strongly linked to their thalamic nuclei.

I would suggest here: it's better not to smile if you're not happy, rather than do a "false smile".



Facial Hardware

Our face has a dedicated cranial nerve like the other sensory and motor head-"interfaces", and like the rest, except olfaction, but including optic nerve, facial nerve passes through a thalamic nuclei in the thalamus:







Going up, Thalamus has projections to the neocortex and back, so eventually it can turn into "magic neurons" up there.

Boris Kazachenko recently suggested in a comment here: Meta Evolution: fitness beyond reproduction

BK: "I think there have been minor genetic changes in humans that produced a major increase in intelligence, mostly through the growth & folding of neocortex"

I believe that the face might be one of the important aspects of human evolution, as well.  
 
Making a digital networks analogy (see Physical layer

Face - physical level interface

If brains and intelligence have evolved to cope with more complex social interactions in the high level of processing, face should have taken a part of the evolution of the "Physical Level Interface" and the thalamic nuclei are a middle layer, doing primary decoding of physical layer signals, sorting, redirecting. I suspect they might/should be correlated at DNA level, because, growing one thing requires growing a counter-part, all muscles or receptors etc. need to have appropriate nerves that eventually reach the Central Nervous System, and I guess that evolving parts in pathways inside the CNS may also involve all subregions, if they develop together prenatally. (I'm not yet that much deep into embryology, though.)

Flexible physical layer interface allows telling others clearly and visually  how do you feel, so they can react appropriately and/or learn using it as a sign/conditioned stimulus. I guess this should be related also to the grow of the importance of vision in human senses.

Basic Emotions and Mammals 

All mammals have the basic emotions, lower animals also should have at least part of theirs (such as: Fear, Panic, Lust, Search; even the Octopus seems to have an elaborated brain and "Play" system on its own).  There's a funny research showing that rats laugh when being tickled...

However, most mammals, e.g.  cats or dogs display just a portion of their emotions using face. Expression of Rage (human also growls and clenches its teeth) and Fear/Panic? (eyes wide open)  seem to be similar, and I think they both are amongst the evolutionary older emotions.

When we do say that a cat or a dog has "a sad face", though I suspect it's rather a blind visual similarity we spot (like finding faces in a fish or insect), a form of anthropomorphizing, than real. Cats and dogs faces are not that flexible and expressive as ours - as Alice says in Wonderland: "Cats can't smile". Well, I don't know.  :)


Whitney was a sad little kitty, starring in a photo story of mine.
Photos - (C) Todor Arnaudov, 2006 - "The Ghost" photo story

Big Apes 




I haven't studied well great apes facial expressions to speak seriously. Of course they do use faces for expressing emotions, but I suspect their face is not as versatile as human's, the visual contrast between features and background is worse and they lack eyebrows, which are clues for human emotions.

However mirror neurons and facial expressions imitation were found as early as rhesus monkeys, so this line may started long ago.

Conclusion

Overall, I guess that mirror neurons might be projections or related to projections from facial and optic thalamic nuclei, maybe related to a primary integration of both. I suspect that part of the integration between face and optic, dealing with imitation of facial expressions, can be done as early as the thalamus itself, by sort of low resolution processing; I haven't studied internal thalamus anatomy yet, though (is it studied/understood?). 

I would conclude, that if one day I could do study myself how exactly a baby imitates faces, I would try to find spatial/contrast etc. resolution thresholds when these reactions first appear. E.g. a baby boy may put his tongue out if he sees a quick-enough change in contrast in a wide spot of the visual field, not only in a mouth - it might be a high-contrast line moving quickly vertically anywhere etc. I don't know if such tests had been done already.
 

Appendix 1: Talents
I think there's no doubt that there are innate predispositions/talents for arts - drawing, music, dancing, also acting. So far I thought that it's related to details about  personal cortical architecture, maybe differences in the speed of learning - ease/speed/durability of synaptogenesis/neuroplasticity. Now I have an additional guess: Thalamic Nuclei may also play a significant part in talents. E.g. people who can't feel the rhythm can barely learn dancing, while the others start dancing even without being taught. At a low level dancing seems to be related to basic prediction of sound patterns, linked with syncrhonized motions. Cingulate Cortex, related to emotions, has projections into motor-pathway as well, which may add to explanation why dancing is an emotional activity. I suspect that acting talent may have some of its roots in Cingulate Cortex as well. 

Finally, good dancers and any talented people may have an advantage in that lower-level preprocessing part. The cerebellum of course should be also a "suspect" whenever there is fine motor-coordination, and it has much more neurons than the neocortex and supposingly vast computing power. I can't speak about cerebellum with supporting data yet, but my first guess is that some people have faster "processors" - cerebellum has longer-lasting and faster neuroplasticy capabilities, maybe wider range connections.

Appendix 2: Lower parts of the brain and prediction - prediction mechanisms below neocortex 

Many if not all AGI researchers would agree that prediction and compression are amongst the main basic  keywords when defining the substance of intelligence. I assume that classical conditioning, which seems to exist even in fish*, can be assumed as a primitive form of prediction of one stimuli, associated with another. The emotions or the basic behavioral drives are also forms of prediction,  predicted behavioral patterns, appropriate for particular situations. This is there in all animals, in insects as well - genetically predicted/precomputed patterns.

I think a nice example is the ants "conditioning" to care for their "farms" of greenflies, which ants keep to milk juice. Ants are not eating the greenflies, but are just milking them, and even further - they are protecting their animals from enemies such as lady-birds...

It is known that thalamus does make primary decisions about what sensory information should pass up to neocortex and what should be processed faster through lower pathways.

I suspect (it may be a well known fact), that Thalamus and Cingulate Cortex  do have capabilities to predict or drive complex motor patterns like the Neocortex, but of course their models are much vague, short and specific - emotional patterns, face expressions, body language(?).

I suspect that it may be connected with part of the body-language as well, which seems to be uniform in many cultures. (Not all gestures, though - e.g.  the middle finger evidently passes through a visual analogy...  ;)  )


...To be continued:

Beauty, music and more.

Read More