Thursday, June 24, 2010

// // Leave a Comment

Teenage Theory of Mind and Universe (Excerpts, Part 1) - Theoretical Induction of Neocortex and Hippocampus using Consciousness; Compression ...

If you've followed this blog long enough, you've certainly has read about my mysterious theory.  :))  It's a collection of writings and ideas on philosophy, mind and universe from my late teenage years (Late 2001 - Early 2004).

For patient Bulgarian speakers the originals are still available here:
Български:    (Съветвам да четете отдолу (най-стари) - нагоре)Откъси от "Тийнейджърската теория на разума и Вселената" - сбирка от статии, разработки, "трактати" от края на 2001-ва до началото на 2004.  Можете  да видите  откъсите по-долу, но новите допълнителни коментари са само към преведената на английски част, ако знаете английски, предлгедайте и тях.

Some of the topics in these excerpts are:

- Discussion on memory and consciousness
- Theoretical induction of neocortical and hippocampal-like modules in mind, based on consciousness. These modules are called respectively "Executive Operating System (EXOS)/Executive Memory" and "Events Operating System (EOS)/Events Memory"
- Compression and Predictability
- Mind as predictor of future inputs, based on the past
- Cognitive hierarchy and abstraction in mind - higher levels work with ever less amount of information, compress
- Art and compressibility (seems related to Schmidhuber's theories about curiosity)
- Find for yourself
- Have added some new comments on the topics.


Notes: In square brackets [blah-blah] are comments/clarifications added now, some words and concepts are translated with many words/variants.

Man and Thinking Machine (2001)

"....In human [mind], most of the objects (of any kind) are not remembered "photographically", but are told/narrated in brain; only the most specific features of the informational entities are recorded; the input is compressed. Probably only the basic concepts are stored in "photographic", "phonographic" (audio), "text", "stereographical" (spatial) etc.  memory. (...) 

It's smart the newly arrived input informational entity to be interpreted by the existing concepts, using their labels - links to their meaning,  containing only an "address". We, people, call this kind of memorizing "understanding" and "making sense of" ...." - "

"Informational entity" is a portion of input data, that is analyzed/compressed into patterns.


Sections from:

Concept about the Universal Predetermination, a.k.a. "Theory of Universe and Mind", Part 3 (2003)

61. The origination of consciousness is the creation of the first advanced/well-developed/robust ("развит") Operating System for Events - EOS (in Slavic terms it was: събитиен вседържец). EOS stores and processes sequential information from the senses and ensures recording and replaying events (happenings) as on a tape or a disk - a record can be selected and it can be "played-back" in the imagination. 

The first well-deveoped operating system - EOS - is an OS, capable to keep compatibility with the previous versions, while it's being improved over time.

That means, the newer versions of the "formats" for recording memories are backward-compatible with the older ones, so older still can be read, even though the new versions may have extensions.

For example a person may have memories both as a two-year old and from yesterday - our brain has changed through the years, but it apparently has kept its compatibility with the records as a two-year old.

In memory, the old events/happenings (събития) - inputs to memory/records - are one-dimensional, i.e. all can be recalled in an instant. [Associative memory]

If a person is unable to spot anything particular - written, drawn; marked [to recognize, to spot anything recognizable/interpretable, to find a pattern], it's hard to remember it, because he would be supposed to record it as an image, while human brain is weak in remembering single complex images, not connected into a system.

After a person learns to read (has extended the capabilities of the EOS), when text is seen mind remembers not the image, but the letters, the syllables or even whole words. (Which maybe are represented as addresses in memory.) The capability to remember events/happenings (memories), written as text, is an upgrade/extension of the EOS.

However it's also an upgrade of the Executive OS [EXOS], which is more closely related to the "hardware". [More closely related to hardware means lower levels of control/generality.]

The memory for events is a higher level of memory in mind than the executive/action memory. For instance, executive memory is language - a baby says his or her first words usually when 1 year old. Before reaching to the moment after which he or she has memories kept for life, the baby might be using hundreds of words and even construct simple sentences. These words and grammars are [seem to be] a part of the Executive memory of the EXOS.

The abilities to speak; to coordinate his movements - walking, running, sitting, catching; recognize direction of sound; recognize objects; suppose third dimension data from a 2D image etc. are a part of a lower level of the OS of mind and apparently EXOS reaches to a backward-compatible versions much earlier than the EOS.

The first memories for events [biographical memories] display approximately when the first steady-working version of the EOS was finished, usually around 3 years [sometimes between two and three]. Earlier appearance display earlier brain development and this is an advantage for the further development of mind.

[It's related to the maturation of hippocampus, isn't it?]

EOS is more versatile (universal) than the EXOS, because it allows working with more data formats, which are combinations and extensions of the formats of the EXOS.

EOS is more flexible than the EXOS and allows mind to work with more abstract files ("informational entities"; records; patterns), more distant/abstracted than their form as an input. ["Distant" either as amount of transformations from the input to the record, and in space and time]

EOS allows mind to extract executive information from the memory for events, i.e. mind may interpret (reflect) EOS with much bigger delay in time.

Mind can convert memories for events into executive, in a format appropriate for the EXOS, thus EXOS may do particular actions because of events (happening/story/record) stored in the memory for events.

EOS can be seen, to a greater extent than EXOS as a data storage, which however eventually allows inducing sequences of actions/operations - algorithms [to be fed to Executive OS].

On the other hand, EXOS can be seen to a greater extent than EOS as an algorithmic storage. Executive OS uses Executive memory to execute actions. [Memory should be where patterns are stored, "operating system" is the process of activation of particular patterns.]

EXOS and EOS are interconnected and not independent. Features of any of them are features of the others, from particular points of view.

EOS is derived from EXOS.


A speculation from now:

- Besides biological imperfections, I guess neuroplasticity may decline in order to preserve mind from "self-amnesia".

There are feedbacks between levels of generality, so they're supposed to adjust in parallel, generalizations should be reinforced/re-checked/re-affirmed; but I wonder what's going to happen with biographical memories, stored using hippocampus and "addresses in memory" (connections).

I've read that hippocampus eventually strengthens networks in neocortex, "transfers memory" there. However, if neocortex changes radically at the lowest levels of generality (or any level?), say if brain is exposed to adapt to a totally different world, I guess those connections may turn not just menaningless, but crazy. On the other hand, addition of higher or parallel levels of generality would not hurt the lower ones.

That's why I suspect that too high neuroplasticity in the lowest levels of generality after higher levels and hippocampus are developed may be dangerous and lead to insanity.

Also, brain is too messy to do real self-rewrite as a future thinking machine would be able to. Brain can't start building an improved "clean copy" and it can't isolate portions of itself from the others.

- Prediction of a "neocortex"-like module - Executive Operating System (EXOS) and executive memory (should be the patterns in the levels of generality)

- Prediction of a "hippocampus"-like module - Events Operating System (EOS)

62. The highest parts of the thinking machine [e.g. consciousness] work at the slowest speed and they output the least amount of information. The lower parts of the thinking machine, and of any machine, work at a higher speed, expressed as information flow/transfer rate.

Full control of a unit over another requires the first to contain in its memory a complete model of the controlled one - a complete model of its behavior - and the contol unit must be capable to simulate it [at least] in real time (...).

"Higher" parts of mind have narrower transfer rates than the "lower", that's why higher parts cannot actually have full control of the lower ones.

[Lower amount of information at higher cognitive levels - higher generality, ever reduced resolution/precision]

63. The more complex the unit/device*, i.e. more information is being transferred [between its parts] during its work, the less controllable it becomes, because it gets harder to find another device possessing enough memory and speed; the "devices" [agents might be a better term] with non-incrementing transfer rate (e.g. humans) may control the more complex devices the less, because their speed and memory gets lesser part of the requirements.

[There were other types of complexity used in the writings also, like one similar to minimal message length/algorithmic complexity, but not precisely defined. E.g. the length of a program written in the "machine code of Universe" which are capable to produce the entity whose complexity is measured, with two options - using or not using external sources for complexity. "Virtual universes" also exist, all environments having "laws of physics" and "matter" to evolve following the laws.
E.g. in this definition of complexity, even very simple artifacts created by humans are more complex than humans, because they require operational humans with developed intelligence, and cannot be created using the laws of physics without intelligent agents. ]

I think the "control" parts might have been partially aimed to show consciousness is just a top of an iceberg of mind, and to shut "Chinese Room" mouths and of those believing that computers do "what we tell them how to do".  What we consciously and voluntary do is pressing a few buttons, our holy free will is encoded in a few bits per second, while the vast accumulated complexity is doing the rest on its own, including suggesting and allowing "us" to press those buttons.

64. People wish for "richness" of the information they perceive, even though huge amounts of that "informational fortune" where mind lives are wasted.
[I.e. mind compresses, generalizes, doesn't use all data it gets.]

Richer in information a "file" [original - свитък, a piece of information, a message] is an entity/whole [a pattern], where predictability of the content of a piece of the pattern, based on other adjacent or related in particular fashion to the first parts of the pattern is close to the predictability in the Reality, in the First Virtual (Imaginary) Universe.

The mind concept (comprehension, understanding) that mind gets from an image, is the same, written as pieces of knowledge [patterns] and their relations.

Understanding shows what transformations can be done with the patterns, which create the file [input, a piece of input, a message...].

Abstract artists' pictures, where there a re no pieces of knowledge, except the most primitive for an image do not contain any meaningful information [or "information for mind", i.e. data that have patterns and can be compressed].
(Such primitive pieces/patterns are e.g. a point, spot, line, seasow line; polygons which mind does not associate with known objects; without 3-rd dimension).

There is meaningful information in images where mind can recognize and call particular objects, parts of objects and their coordinates/relations to each other.

The meaningful idea ("разумна представа") is described with much less information [data] than the image from which it was deduced. [Compression and selection.]


E.g. this image has a little knowledge, because it can be easily defined with a cycle in mind, where the changes of the bar of the building are small.
Photographers use to call such pictures "boring" - they bring a little amount of information, which is unpredictable using the precedent information [from the picture or whatever artifact being analyzed].  [This image is very highly compressible.]

Well done art photograph must be balanced: to bring enough information about the subject on the picture, to be clear enough - to be easy to understand what's on the picture, to have a "complete" idea; also, the picture shouldn't be overloaded with details which are distracting attention (are "irritating") and make our sight to roam around the details, searching for a meaning in the picture.

Art photography is based on abstraction and emphasizing of the essential [information]. It's like that also in classical visual art, especially in graphics and caricature.

[Aesthetics is not that simple to define in a few sentences and is subjective. There's "organic/smooth" patterns that seem to make perceptions generally more pleasant than highly compressible high contrast images; also there are high level associations, that pictures bring to us and may make us judge them emotionally etc.; "animate" objects and conflicts like in drama may engage mind to think/predict (interestingness)...]


Lonelyness (The Lonely Station Cat) |  Photos: Tosh (me)

A person creating any kind of art is displaying how the image of what he's creating is stored in his memory and what features of reality are memorized. For example the earliest children drawings just use lines - therefore [perhaps] images are stored as "lines"; lines bring the most possible information, because they are abrupt change between the colour of the paper and the pencil or whatever tool. The youngest mind remembers [maybe implies: recognizes] only the very essential parts of the perceived reality.

Humans don't remember lots of the details in the images. Maybe that's why pictures with lots of details are "irritating". Human mind usually removes the most of the slight details, when it remembers the image as a description of pieces of knowledge, in order to make remembering easier.

It's easier to fill memory using a piece of information [a pattern] to be multiplied with a gradual change, known from the beginning; and by parts of the image to be able to predict, with a higher probability, what's on other parts of the image. [That's easier, than to hold a bitmap copy.]

Human hardly can remember and percept too "plentiful information servings" such as noise:

NOISE: A sequence of characters/symbols, where every following has equal probability to appear and the value of the following characters is fully unpredictable for the one who's trying to predict it [i.e. the *generator* may actually *know* all the symbols and they might be pseudo-random for him, but the *evaluator* doesn't know them and can't predict them].

Mind works with big amount of redundancy in information, in order to predict the future inputs by the past easier and with higher certainty.


Български (допълнителните коментари обаче са само към частта на английски! предлгедайте я, ако знаете английски) 

*** При човека, повечето обекти (от всякакъв вид) не се запомнят
"фотографски", а се "преразказват" в мозъка, записват се най-характерните
особености на информационните обекти, входната информация се компресира.
Във "фотографска", "фонографска", "текстографска","стереографска"
(пространствена) и пр. памет вероятно се съхраняват само основните понятия.
(...) Хитро е новопостъпилият информационен обект да се обясни с наличните
информационни обекти. Просто му се дава етикет, а същността му се описва с
известните понятия, като се използват техните етикети - връзки към
значението им, съдържащи само "адрес". Ние хората наричаме такова запомняне
"разбиране" и "осмисляне". - из Човекът и Мислещата машина, Тодор Арнаудов - Тош, 2001

Из "Схващане за всеобщата предопределеност 3" -  Тош, 2003
61. Възникването на съзнанието е създаването на първия развит събитиен вседържец (събитийна операционна система) на човека. Събитийният вседържец запомня и обработва поточна информация от сетивата и осигурява запомнянето и възпроизвеждането на събития като "на лента" или "плоча" - можем да изберем "запис" и да го "прослушаме" във въображението си.

"Първият развит събитиен вседържател" е операционна система, способна при усърършенстването и надграждането си да запазва СЪВМЕСТИМОСТТА с предходните версии. Например форматите за запис на събитийни спомени от "Проявление 1.0" на Развития събитиен вседържец на разума нататък са съвместими един с друг "отгоре надолу" - по-новите версии са съвместими с по-старите, техни разширения.

Например имаме спомени и от двегодишна възраст, и от вчера. Мозъкът ни се е променял през годините, но си е останал съвместим към спомените от двегодишна възраст.

В паметта ни всички събития, когато и да са били въведени в паметта, са разположени едноизмерно и си спомняме за тях мигновено.

Ако не можем да четем и видим нещо написано, е трудно да го запомним, защото трябва да го запомним като цяло изображение, а човешкият мозък е по-слаб в запомнянето на единични - несвързани в система - сложни изображения.

След като се научим да четем (разширим възможностите на Събитийния вседържец), като видим написано слово запомняме не изображението, а буквите, сричките и дори целите думи. (Които може би се представят като адреси в паметта). Способността да си спомняме събития, написани в слово, е надстройка на събитийната операционна система. Същевременно е надстройка и на Изпълнителната, която е в по-пряка връзка с "железарията".

Събитийната памет е по-високо ниво памет в mind, отколкото изпълнителната. Изпълнителна памет е например езикът - детето проговаря, средно, на възраст една година. Преди първите спомени за случки, които оставят за цял живот, то използва стотици думи и построява изречения. Тези думи и граматиките са част от "Изпълнителната памет" на "Изпълняващия вседържец".

Способността да говори; да съгласува движенията си, за да ходи, тича, сяда, хваща; познава посоката на звука; разпознава предмети, предполага за третото измерение от двуизмерни изображения и т.н. са част от по-ниското равнище на Вседържеца на mind - Изпълняващият вседържец (ИВ).
Той стига до получаване на съвместими отгоре надолу версии много по-рано от Събитийния вседържец.

Първите спомени за събития показват приблизително кога е била завършена работеща устойчиво разновидност на Развития събитиен вседържец (РСВ) - обикновено за около 2-3 години след раждането на човека. По-ранното появяване показва по-ранно развитие на мозъка и е предимство за развитието на mind.

Събитийният вседържец е по-универсален от Изпълнителния, защото позволява на mind да работи с по-голям брой формати на данните, които са съчетание и разширение на форматите на Изпълнителния вседържец.

Събитийният вседържец е по-гъвкав от Изпълнителния и позволява на mind да работи с по-отвлечени свитъци (информационни обекти), по-отдалечени от вида им при въвеждането в паметта през чувствениците.

РСВ позволява на mind да извлича изпълнителна информация от събитийната. Т.е. разумът може да тълкува (обмисля) събитийната памет с много голямо закъснение във времето. Разумът може да преобразува събитийната памет в изпълнителна, във формат за Изпълнителния вседържец, който може да извърши определени действия заради събитие, съхранявано в Събитийната памет.

Събитийната памет може да се разглежда, в по-голяма степен от изпълнителната, като хранилище за данни, от които чрез изчисления могат да се извличат последователности от действия - алгоритми.

Изпълнителната памет е, в по-голяма степен от събитийната, хранилище на алгоритми (казбеници), отколкото събитийната; както подсказва името й, за да се извършват действия, се използва Изпълнителната операционна система.

Изпълнителният и Събитийният вседържатели се преплитат и не са независими един от друг. Свойствата на единия са свойства, в определена степен и от определена гледна точка, и свойства на другия. Събитийната операционна система е производна на изпълнителната.

62. Разумът е частта от Мислещата машина, която работи с най-ниска скорост и извежда най-малко информация. По-нисшите части на Мислещата машина, и въобще на всяка машина, работят с по-висока скорост, изразена в информационен поток (въобречие).

Пълна власт на едно устройство над друго изисква управляващото устройство да съдържа в паметта си изцяло паметта на подчиненото, модел на действието му и да може да му подражава с пълна скорост (това са условията за пълноскоростна емулация на една изчислителна машина от друга), за да е способно да ръководи всяка подробност от случващото се на подчиненото.

"По-висшият разум" има по-тясно въобречие от "по-нисшия", затова е обречен да няма пълна власт над него.

63. Колкото по-сложно е устройството, т.е. колкото повече информация се обменя при работата му, толкова е по-неуправляемо, защото е по-трудно да се намери друго устройство с достатъчно обемна памет и бързодействие, в които да се вмести подчиненото; толкова повече устройствата с нерастяща пропускателна способност (напр. човеците) по-слабо го управляват, защото бързодействието и паметта им стават все по-малка част от бързодействието и паметта на устройствата с растяща пропускателна способност, памет и бързодействие.

Най-сложното устройство - цялата Вселена - не може да бъде управлявано от никое друго устройство.

Колкото по-точно устройството знае какво прави - в паметта, достъпна за най-висшите части на управляващата част, е записано с по-голяма точност "какво му е писано" - толкова е по-свободно и същевременно е толкова по-несвободно. По-свободно е, защото прави това, което то "иска", т.е. което е записано в неговата памет; несвободно е обаче според разбирането, че "свобода" означава да не знаеш какво искаш и да не знаеш какво ще поискаш в следващия момент.

64. Човекът милее за "богатство" на възприеманата информация, макар че от цялото "информационно богатство", в което плува човешкия разум, се пилеят огромни "средства".

Информационно по-богат свитък е такава цялост, в която предсказуемостта на съдържанието на откъс от свитъка, въз основа на други, съседни или свързани по определен начин с първите, части от същия свитък се доближава по стойност до предсказуемостта в Действителността, в Първата въображаема вселена.

Разумната представа (съзнанието, разбирането), която получаваме от едно изображение, е същото,описано с късове знание и отношения между тях. Разбирането показва какви преобразователни действия биха могли да се извършат с късовете знания, които се намират в свитъка.

Абстрактните картини, в които не се срещат късове знание, с изключение на най-първичните за изображение (точка, петно, отсечка, начупена линия; многоъгълници, които възприемащият не свързва с познати предмети; без трето измерение), не носят никаква разумна информация.

Разумна информация има в изображения, в които могат да се разпознаят и назоват отделни предмети и части от предмети и взаимното им разположение.

Разумната представа се описва с много по-малко обем информация, отколкото изображението, от което е изведена.

Това изображение, например, носи много малко знание, защото лесно може да се опише с цикъл (въртележка) в разума, като промените спрямо цикличното изменение на мотива "ивица от сграда" са малки.
Фотографите наричат такива снимки "скучни" - носещи малко количество непредсказуема, въз основа на предходната, информация.

Добре направената художествена снимка трябва да бъде уравновесена - да носи достатъчно информация за предмета на снимката, да е достатъчно ясна - лесно да се разбира какво е снимано, идеята да бъде "завършена"; не трябва да бъде претрупана с подробности, които отклоняват вниманието ("дразнят") и карат погледа да се лута из изображението, в търсене на смисъла на снимката.

Художествената фотография е свързана с отделяне и наблягане върху същественото. Така е при рисуването, особено при графиката и карикатурата.

Когато човек твори, показва по какъв начин представата за това, което твори, е записана в паметта му и кои особености на действителността се запомнят.

Например малките деца, които правят първите си рисунки, използват черти - следователно в паметта на човека изображенията се записват като черти; чертите носят най-много информация, защото са рязък преход между белия лист и цвета на писалото; най-младият разум запомня само най-съществените части от възприеманата действителност.

Човек не помни много подробности от образите. Може би и затова снимките с много подробности "дразнят".
Човекът обикновено изтрива по-голямата част от дребните подробности, когато запомня изображението като описание на късове знание, за да се опрости запомнянето.

По-лесно е да се запълни паметта с късче информация, която се размножава с постепенна, известна отначалото, промяна; и чрез част от образа да можем да предскажем, с по-голяма вероятност, какво има на друго място от него. Човекът трудно запомня и възприема "обилни информационни порции", каквато е шумът:

ШУМ - последователност от знаци, в която всеки следващ е равно вероятен и стойността на следващите знаци е напълно непредсказуема (за този, който се опитва да предсказва), въз основа на предходните.

Разумът използва голямо излишество на информацията, за да може по-лесно и сигурно да предсказва бъдещите входни данни, използвайки миналите.
Read More

Monday, June 21, 2010

// // Leave a Comment

Criticism on Novamente Cognitive Architecture, SOAR and Alikes | Критика към архитектурата Новаменте, SOAR... Курс по Универсален изкуствен разум

"Back to the Future" - an 80's classic movie and a favorite  

What's wrong with those cognitive architectures claiming to allow creation of Artificial General Intelligence (true Thinking mahichines)?

Какво не е наред в когнитивни архитектури Новаменте, СОАР и др., и защо създателите им са далеч от универсален изкуствен разум 
(истински мислещи машини, или "изкуствен интелект" както е старият лош термин, който повече им подхожда)

In brief, I've been disappointed from the papers on Ben Goertzel's Novamente  cognitive architecture (AGIRI's OpenCog seems similar), because they resemble too much SOAR-like cognitive architectures, rely on NLP, even Prolog-like "common-sense" logic.

Check out some:

I have given up on a Bulgarian one, called DUAL, that uses micro-frames and a hybrid symbolic-connectionnist approach, having several levels of interaction of the entities - micro, macro... It was conceived in late 80-ies, inspired by Minsky's "Society of mind", multi-agent systems, frames, etc... It seems a bit general, but the micro-frames are to be filled manually... Also I don't see any meaningful results, achieved for 20+ years of *work*.

SOAR is "a star", it was created in late 80-ies as well, and while enhanced over time, again I haven't heard of any meaningful application of it (actually any at all), demonstrating AGI. Correct me if I'm wrong.

Architectures like this seem very elaborate at first sight, having fancy block-diagrams: they use to claim having declarative memory, episodic memory, intentional memory, attention, working memory - prides of Cognitive Science - proven experimentally to exist in human mind! They have knowledge-bases (Cyc-style are the best!), problem space, goal-states... I guess these kinds of "knowledge" are supposed to be filled *manually*, somehow like in the NLP semantic dictionary - WordNet.

I like very much the 80-ies style, I somewhat like 70-ies and 60-ies (also 50-ies),  but not really the AI-style.

Papers, journals, conferences on "Recent Advances in AI", PhDs...  And anything to impress anybody outside the conference rooms?... (Correct me if wrong)

Novamente is supposed to be better than SOAR, they claim to use probabilistic inference, trying to integrate smoothly different kinds of memory - in a really general AGI framework all those "kinds of memory" are supposed to emerge from something more general.  Novamente may work to some extent, but to me these high-level concepts, sticked together with "glue", don't look really smooth to evolve and learn well. 
However I partially understand guys who try to do something to seem meaningful and to sell it right now, an elaborated architecture with many blocks inside, socially acceptable and "scientifically proven" constructs might be taken more seriously than elegant abstract definitions. But:

A rule of thumb:  if an approach was feasible, for 20-some years of *work* it should had lead to a progress. To me so far it seems the same.
In the upcoming years, expecting:

Други ключови думи: Универсален изкуствен разум, Новаменте, когнитивни архитектури, СОАР, високо ниво, правила за извод, изкуствен интелект, Пловдив, ПУ, ФМИ, мислещи машини

Read More

Saturday, June 19, 2010

// // Leave a Comment

Comments on "Chaotic Logic" | Коментар към книгата на Бен Гьорцел "Хаотична логика" - към курса по Универсален изкуствен разум в ПУ

I've been checking out some of Ben Goertzel's works:

Read it at:

Chaotic Logic
Language, Thought and Reality
From the Perspective of Complex Systems Science

Ben Goertzel

Chairman and CTO Intelligenesis Corp.
Paper Version published by Plenum Press, 1994

What I liked:

- "Pattern and Prediction" (Ch. 2) 
- "The structure of thought" (Ch. 3) - multilevel control (hierarchical control)
- "Psychology and logic"  (Ch.4)
- Coverage of history of AI/logic/linguistics, good knowledge on particular philosophers, linguists etc.
- Different definitions of complexity

E.g. this lines on patterns: (Ch.2):

...Before getting formal, let us first take a quick intuitive tour through the main concepts to be discussed. The natural place to begin is with the concept of pattern. I define a pattern, very simply, as a representation as something simpler
In general, a pattern is a short-cut -- a way of getting some entity that is in some sense simpler than the entity itself. A little more formally, suppose the process y leads to the entity x. Then y is a pattern in x if the complexity of x exceeds the complexity of y....
, B. Goertzel, 1994
Also, "the amount of structure":

...These concepts may be used to measure the total amount of structure in an entity -- a quantity which I call the structural complexity. The definition of this quantity is somewhat technical, but it is not hard to describe the basic idea.

If all the patterns in an entity were totally unrelated to one another (as, perhaps, with this picture of the square next to the circle discussed above), then one could define the structural complexity of an entity as the sum of the complexities of all its patterns.

But the problem is, often all the patterns will not be totally unrelated to each other -- there can be "overlap." Basically, in order to compute the structural complexity of an entity, one begins by lining up all the patterns in the entity: pattern one, pattern two, pattern three, and so on.

Then one starts with the complexity of one of the patterns in the entity, adds on the complexity of whatever part of the second pattern was not already part of the first pattern, then adds on the complexity of whatever part of the third pattern was not already part of the first or second patterns, and so on.... B. Goertzel, 1994...

I think it's in the right direction of compression and prediction.

A discussion on Nietzsche and logic at Ch. 4  :

Nietzsche declared consciousness irrelevant and free will illusory. He proposed that hidden
structures and processes control virtually everything we feel and do. Although this is a commonplace observation now, at the time it was a radical hypothesis. 
Nietszche made the first sustained effort to determine the nature of what we now call "the unconscious mind." The unconscious, he suggested, is made up of nothing more or less than "morphology and the will to power." The study of human feelings and behavior is, in Nietszche's view, the study of the various forms of the will to power.
... Note how different this is from Mill's shallow psychologism. In the Introduction I quoted Mill's "derivation" of the Law of Excluded Middle (which is equivalent to the law of contradiction, by an application of deMorgan's identities).  Mill sought to justify this and other rules of logic by appeal to psychological principles. 

In Mill's view, the truth of "A or not-A" follows from the fact that each idea has a "negative idea," and whenever an idea is not present, its negative is. This is a very weak argument. One could make a stronger psychological argument for the falsity of "A and not-A" -- namely, one could argue that the mind cannot simultaneously entertain two contradictory ideas.

But Nietzsche's point is that even this more plausible argument is false. As we all know from personal experience, the human mind can entertain two contradictory ideas at once. We may try to avoid this state of mind, but it has a habit of coming up over and over again: "I love her/ I don't love her", "I want to study for this test/ I want to listen to the radio instead".

The rule of non-contradiction is not, as Mill would have it, correct because it reflects the laws of mental process -- it is, rather, something cleverly conceived by human minds, in order to provide for more effective functioning in certain circumstances.

 ...One rather simplistic and stilted way of phrasing Nietszche's view of the world is as follows: intelligence is impossible without a priori assumptions and rough approximation algorithms, so each intelligent system (each culture, each species) settles on those assumptions and approximations that appear serve its goals best, and accepts them as "true" for the sake of getting on with life. Logic is simply one of these approximations, based on the false assumption of equality of different entities, and many auxiliary assumptions as well....  B. Goertzel, 1994


What I generally didn't like is too high a level speaking, too much typical syntax-semantics-symbols Linguistics, Psychology, NLP and philosophy; couldn't see "good physics" thus couldn't really sustain reading all in details.

I suggest : What's wrong with NLP... series:

A curious fact is that a Bulgarian humanoid robot project Kibertron mentions "Chaotic logic computer" in their brief explanation of their "theory of natural intellect", don't know is it related to the book. Unfortunately the company claims they need 5 million Euro to make this "natural intellect" working, together with the robot.

A general advice on reading 

Use your time wise, don't read thoroughly too much. Try to understand when reading more in a topic would be worthless. A very little essence would last in your mind and would make real sense, the rest and most might be just time passed without memories and without work done.

The talk on "saturation of learning" will be continued.
Read More

Tuesday, June 15, 2010

// // Leave a Comment

How Brain Works. Minicolumn Hypothesis. Consciousness. Neurotransmitters and Drugs. Human Evolution. Transhumanism and Other Materials.

Как работи мозъкът. Хипотезата за миниколоните в неокортекса като градивен елемент на разума. Съзнание. Еволюция на човека. Трансхуманизъм. Класическо кондициониране и други интересни материали.

Some cited from Boris Kazachenko's knols, pointed by himself or commenters, some suggested by me, browsing around.

  • На български, бърз курс за работата на мозъка и допълнителни връки в моята лекция от курса по Универсален изкуствен разум (Brain Architecture):

  • The brain from top to bottom -  comprehensive, well-structured and well explained in short linked articles - check it out!

    Как работят наркотиците, как наркотиците въздействат на невротрансмитерите и невроните в мозъка (анимирано)
    How drugs work, how drugs affect neurons (animated):
    How drugs affect neurotransmitters:

  • The minicolumn hypothesis in neuroscience:

    See also, though: Confusing cortical columns, Pasko Rakic* :

  • Функционални различия между лявото и дясното полукълбо на мозъка:
    Left and Right hemisphere functional differences of the brain:

    The Split Brain - Revisited, By Michael S. Gazzaniga
    About 35 years ago in Scientific American, I wrote about dramatic new studies of the brain.
  • ASD (Autistic spectrum disorder) as a Developmental Disorder - A Suggested Neurological Underpinning

  •  Partially enhanced thalamocortical functional connectivity in autism
  • Teenage Brain: A work in progress (Fact Sheet)

  •  Competing for Consciousness:  A Darwinian Mechanism at an Appropriate Level of Explanation, By William H. Calvin

  • Human neurophysiology: a student text By Oliver Holmes

    Other materials

    Accelerating Future: Transhumanism, AI, nanotechnology, the Singularity, and extinction risk:

  • Leonid Perlovsky's works, Dynamic Logic, Knowledge Instinct, Neural modeling fields

  • Classical Conditioning experiment with a baby, taught to be afraid of rats, eventually any furry objects. Displays also stimulus generalization. Immoral, but interesting:

    Little Albert experiment:

  • Human Evolution:

  • Obstetrical Dilemma:

    --> bigger the brain/head of proto-human baby
    --> harder birth and dependent on help from others (obstetrician)
    --> shorter the pregnancy in order the baby to get ouf of the mother's pelvis
    --> more immature newborn baby
    --> more underdeveloped brain of the baby (20-25% fully developed, vs 45-50% in chimps)
    --> baby is more dependent on mother's care for a longer time
    --> mother is dependent on others' carе
    --> family, division of labour, society

    "Акушерската дилема" в еволюцията на човека

    --> по-голям мозък/глава на бебетата на еволюционните предци на човека
    --> по-тежки раждания и зависимост от чужда помощ (акушерки)
    --> по-кратка бременност, за да може бебето да се промуши през тазобедрената става на майка си
    --> по-недоразвито новородено
    --> по-недоразвит мозък (20-25% напълно развит при човека, докато 45-50% при шимпанзетата)
    --> бебето е по-зависимо от грижите на майка си за по-дълъг период
    --> майката е по-зависима от грижите на другите
    --> семейство, разделение на труда, общество

  • Brain development and the female pelvis


Read More

Friday, June 11, 2010


Любовта и страха, или защо е хубаво да обичаш - окситоцин и кортизол | Love and Fear, or Why Love is Good for us - Oxytocin vs Cortisol

Crushed, 2006 by Tosh

A very nice article on love, oxytocin and cortisol. English speakers may read it there: Love and Fear by Gary Wilson and Marnia Robinson.

Любовта и страха 

 Гари Уилсън и Марния Робинсън

Превод: Тодор Арнаудов (със съкращения)

Различни духовни учения твърдят, че има само две основни чувства: любов и страх. Изглежда, че това определено е вярно поне за тялото. Всички бозайници, включително човека, имат двa противопоставящи се хормонални отговори на стимули. Застрашаващите стимули причиняват увеличение на хормоните на стреса: адреналин и кортизол. От друга страна, успокояващите и насърчаващите стимули причиняват увеличение на нивото на окситоцин.

Сблъсък с внезапна заплаха отключва отговорът "бягай или се защитавай" (fight-or-flight), който е свързан с адреналина. Адреналинът ускорява пулса и вдишванията, задейства мускулите и съдейства за свръх-будност, готовност за реакция. Дълготраен стрес (от няколко минути до дни и седмици) увеличава друг стресов хормон: кортизол. Кортизолътсъщо ни прави свръх бдителни, но еволюционната му функция е съвсем различна от временното "надрусване" с адреналин, предназначено да ни помогне да избегнем опасност.

Стресът, с който са се сблъсквали нашите ловуващи и събиращи еволюционни, предшественици е бил основно физически, не емоционален - най-основните типове вероятно са били глад, дълги преходи и тежки наранявания. Ако се наложи, кортизолът започва да разрушава не-жизненоважни органи и тъкани, за да задържа нивото на кръвната захар и да изхранва жизненоважните органи. Когато нивото на кортизола стои високо, започват да се смилат костите, мускулите и ставите, за да се извлекат техните хранителни съставки. В крайна сметка се получава повишено ниво на мазнини и захари в кръвта, което е свързано с много заболявания. Друг страничен ефект е чувството за глад; търсим по-висококалорични храни. Най-големите дълготрайни стресиращи фактори днес обаче са емоционални и умствени, не физически. Всъщност ние сме "нов" научен експеримент. Сблъскваме се с нови форми на опасността да останеш без работа, натиска от участието в тътреща се колона от автомобили в задръстване; медиите които бълват новини всяващи страх; сътресенията в любовните ни отношения и т.н. Въпреки че това не са физически заплахи, тялото ни има само един автоматичен отговор на тях и той е: кортизол. Кортизолът има много тежък ефект върху тялото и всички тези емоционални заплахи непряко се првръщат във физически.

За щастие, притежаваме вграден механизъм за борба със стреса, който образува основите на другия начин да отговаряме на стимули. В този механизъм основна роля има друг хормон, наречен окситоцин. Освен функцията му да поражда емоционални връзки, при раждане и за отделяне на кърма, както беше открито неотдавна окситоцинът неутрализира действието на кортизола. Това е начин за постигане на по-добро здраве чрез напълно естествени средства.

 Страх - Кортизол 

 - Агресивност, възбуда, тревожност, притесненост.

 - Задейства механизми на пристрастяване. 

- Намалява половото влечение. 

- Свързан е с депресията. 

- Може да е токсичен за мозъчните клетки. 

- Разрушава мускули, кости и стави.

 - Потиска имунната система. 

- Увеличава блката. 

- Стяга артериите, повишава риска от сърдечно-съдови заболявания и високо кръвно налягане

 - Наднормено тегло, диабет, остеопороза. 

  Любов - Окситоцин 

- Анти-стресов хормон. 

- Чувство на спокойствие и съпричастност. 

- Увеличено любопитство.

 - Намалява ненаситните желания и пристрастявания (към наркотици, сладко). 

- Увеличава сексуалната възприемчивост. 

- Положителни чувства. 

- Улеснява ученето. 

- Поправя, лекува и възстановява тялото. 

- Ускорява зарастването на рани. 

- Намалява усещането на болка. 

- Намалява кръвното налягане и намалява риска от сърдечно-съдови заболявания.

Както се вижда, почти всички отрицателни страни от продължителен стрес върху тялото и ума са свързани с повишено ниво на кортизол. Това включва: хронична тревожност и тъга/депресия, емоционална свръх-реакция, негативизъм, наддаване на тегло, сърдечни болести, високо кръвно и отслабена имунна система. От друга страна чрез неутрализирането на кортизола, окситоцинът може да облекчи тези състояния и някои други (виж по-долу списък с последни открития). Многобройни дейности могат да произведат окситоцин: медитация, йога, физически упражнения, масаж, грижа за животно, включване в група, литургии и т.н. Един от най-важните начини за намаляване на стреса и увеличаване на нивото на окситоцин обаче е в интимните ни отношения. В "Любов и оцеляване", д-р Дийн Орниш посочва, че любовта и интимността са толкова мощни определители на здравето ни, че ако можеше да се произвеждат под формата на лекарства, докторите които не ги предписваха на болни пациенти щяха да бъдат обвинявани в лекарска небрежност... 

Между другото, човек може да се запита защо просто не взимаме хапчета окситоцин за да увеличим нивото му? За съжаление, окситоцинът не може да премине границата кръв-мозък, освен под формата на спрей за носа. Дългата употреба на окситоцин по този начин обаче може да причини амнезия, халюцинации и неравновесие на електролити и хормони. За да получим само ползите от окситоцина, трябва или да произвеждаме окситоцин по естествен път в мозъка или да го инжектираме с голяма прецизност в точно определена малка област от мозъка, чрез специално оборудване... Прякорът на окситоцина е “хормон на връзките" и "хормон на гушкането". Мозъкът произвежда окситоцин по естествен път, когато обичаме, сме обичани, грижим се един за друг, себеотрицавайки се за другите, или когато се докосваме с любов. Окситоцинът не е в основата на похотта или изгарящото сексуално желание, въпреки че е свързан със сексуалността. (...)


Окситоцинът съвпада с Любовта - не можем да се влюбим без него. Кортизолът съвпада със страха...

Тези два разлини хормона пораждат противоположни емоции, също както чувствата любов и страх отключват производството на тези хормони. С други думи, химичните вещества в мозъка и поведението са взаимносвързани и с известна доза осъзнаване и решителност, можем съзнателно да насочваме поведението си към поддържане на съвършен хормонален баланс.

Между другото окситоцинът е изключително особен невротрансмитер: колкото повече произвеждаме, толкова по-силно тялото и умът ни реагират на него. При стимулация с окситоцин, по нервните клетки израстват повече рецептори, правейки ги по-чувствителни за ефектите му. Става все по-лесно да обичаш...

Окситоцинът е неврхохимичната основа на поговорката "Колкото повече даваш, толкова повече ще получиш". Любовта ражда любов и страхът ражда повече страх. Последни открития, показващи силата на окситоцина: 

 - Окситоцинът намалява страха. Увеличените нива на окситоцин потискат реакцията на мозъка от тип "бягай или се бий". (Huber, 2005)

- Окситоцинът ускорява оздравяването. Наранени хамстери оздравяват два пъти по-бързо, когато живеят заедно с брат или сестра, отколкото ако са оставени в изолация (DeVries, 2004). 

- Окситоцинът противодейства на апетита за сладко. (Billings, 2006).

- Окситоцинът намалява антисоциалното поведение. Поставянето на инжекция окситоцин нормализира социалното поведение на животни с шизофрения. (Lee, 2005)

- Окситоцинът насърчава здравословно социално поведение. Инжектирането на окситоцин намалява симптомите на аутизъм.. (Hollander, 2003)

- Окситоцинът намалява пристрастяването. Когато учени го инжектирали на гризачи, пристрастени към кокаин, морфин или хероин, плъховете се установяват на по-ниски дози дрога или са показали по-слаби симптоми на абстиненция (withdrawal). (Kovacs, 1998)

- Окситоцинът успокоява. Инжектиран на плъх му действа успокояващо, поставен в цяла клетка, пълна с разтревожени плъхове. (Agren, 2002)

- Нивата на окситоцин са по-високи и при мъжете, и при жените, които са споделили за повече подкрепа от страна на своите партньори. (Grewen, 2005)

- Изглежда, че окситоцинът е главната причина защо SSRI’s намаляват симптомите на депресия - може би защото високите нива на кортизол са главните виновници за депресията и тревожността (Uvnas-Moberg, 1999)

- Окситоцинът увеличава сексуалната възприемчивост и противодейства на импотентността, което обяснява защо този друг начин за правене на любов продължава да носи удоволствие. (Pedersen, C.A., 2002), (Arletti, 1997)

- Окситоцинът противодейства на ефекта на кортизола - хормонът на стреса. Повишените нива на окситоцин в мозъка намаляват нивата на кортизол в кръвта. (Legros, 2003)

- Окситоцинът може да увеличи продължителността на живота. Дружбата и общуването могат да увеличат продължителността на живота - дори за ХИВ-позитивни (Young, 2004). Също така, окситоцинът може да обясни защо сред различните видове примати, тези които се грижат за малките си, живеят значително по-дълго, без значение от пола им. (Cal Tech, -1998)
Read More