Monday, June 29, 2020

Is Natural Language Recursion or Dereferencing? - Comment about the article "Recursive language and modern language were acquired simultaneously ..."

https://phys.org/news/2019-08-recursive-language-modern-simultaneously-years.html?fbclid=IwAR04SqHIJKrbZR52gvllBiM2qJp3-xhZ8aJ0vQXW1-hwEcplsjTw8ZccglE

And the discussion of B.K. from CogAlg: https://www.facebook.com/boris.kazachenko.5/posts/10216534326967246

"a snake on the boulder to the left of the tall tree that is behind the hill,"  
"Prefrontal Synthesis (PFS)."  
" Similarly, nested explanations, such as "a snake on the boulder to the left of the tall tree that is behind the hill,"  force listeners to use PFS to combine objects (a snake, the boulder, the tree, and the hill) into a novel scene. Flexible object combination and nesting (otherwise known as recursion) are characteristic features of all human languages. For this reason, linguists refer to modern languages as recursive languages."

The bold part (bold - mine) is a general characteristic of codes.

I didn't see the capacity of the "working memory" mentioned, while it is crucial and general - both as the definition of  "7+2" and in more general sense of complexity of the representations one could productively work with, which correlates with the complexity of the matters ones could deal with.

Nested and recursive are not synonyms by default IMO. You could call them so, but IMO they *could* be, but are not obliged to be. Recursion is about self-reference, while the example IMO is not "self" reference, unless assuming such "function call" mechanism. It's *chaining* and redirection of relations (a list, graph, network), some of the parts could be not processed the same way, thus not "recursion".

( Sure, one can call "recursion" whatever she wants; e.g. regarding CogAlg there was a time, I don't know if it is still valid, where "recursion" was called "iteration" interchangeably - they are opposite methods in programming. The general of these is "a stage of processing". )

As of redirection, a famous quote in Computer Science says, that "we can solve everything with one more level of redirection". The original uses another word:

Indirection | Dereferencing | Redirection

"We can solve any problem by introducing an extra level of indirection."  
Indirection, dereferencing: https://en.wikipedia.org/wiki/Indirection
https://en.wikipedia.org/wiki/Fundamental_theorem_of_software_engineering

Processor's Indirection

It starts with the CPUs with more advanced methods for addressing, even for simple CPUs like read the value at the address, pointed by the current content of a register, offset by the content of selected index register (read the content of the index register, add the value to the already read value, multiplied by the selected word-size - byte, word, doubleword, quadword, - where those selections are encoded in the opcodes of the instructions - and store the read value in the same source register.

Say:  A - Accumulator, X - IndeX register

MOV @[A+X]

It could be to point to an address, which is used as another address of a table, add to it offset from another register, add something else etc.

This is constantly done also when parsing and expanding high level code and data structures, first load one table with addresses with a key (identifier), search, find where it redirects, get another table etc.

It is similar to the linguistic dereferences like:

"This is the book of the girl that lives on the third floor in your house".

All that is easier to be expressed in code and by graphs/flowcharts with arrows, rather than by text, because it's naturally "spatial" and connected.

...

Regarding the example from the article:


It can be traversed and processed recursively, but it could be done also iteratively, up to particular "depth", length, and since in human case that length is quite limited anyway, and it doesn't grow infinitely, unlike the claims in the artificial syntactic examples, most people very quickly get lost in the relations betweeen words - probably like in this sentence.

That has a simple general interpretation, though and exposure to nested input can't help it: too limited working memory (resources) do not allow to spawn and to hold enough objects/patterns and relations in order to understand their relations or to combine them into new; while just activation/recall is cheaper, so a system may be able to just recall memories and reconstruct already visited patterns, which may require less activations in the higher levels (PFC), but couldn't have an even higher level which use many of these into new imagined entities, combined by other parts. The relations are patterns and they seem to be expensive ones for humans.

Even if you had that skill of "PFS" within the cognitive repertoir and you can generate sequences in principle, if you had that "modern imagination", if the available resources allow just to manage one level of certain complexity, the result will be the same.

This is exemplified by the complexity of the used sentences and language, which is supposed to grow during language acquisition, but it has a limit. That goes also for the complexity of programming code expressions for developers' skills.

The math "word problems" given to students are also tests for the working memory capacity:

John has 5 apples, Mary has 3 apples more, but she gave 2 to Kate who had 1. How many apples Mary has now?

These problems require correspondingly big enough working memory for such patterns in order to hold the elements and not just in principle to be able to do "recursion" (or nesting or chaining).

...

Mapping to vocalisation

I agree about with Boris that a mapping to vocalisation exists ( to recording spoken words in working memory as well), I've measured sometimes the lenght of text which I can remember and write correctly while listening to a talk, a show etc, see also my old compressed definition of natural language, given for example in the "What's Wrong With the NLP" series:

Todor: Natural language is a hierarchical redirection/abstraction/generalization/compression of sequences of multi-modal sensory inputs and motor outputs, and records and predictions for both.
When we learn the language in a multi-modal net which includes motor commands to the vocal tract and sensory from the records of other people talking, our own sounds and utterances, expectations of what sound would be produced when we do this or that sequence of motor commands to the vocal system, starting with current state etc., then it would recall memories of "vocalization" etc.

https://en.wikipedia.org/wiki/Vocal_tract


Declarative Memory, Hippocampus, Consciousness, Creativity, Sequences

I also agree that there is a correlation/relation between declarative memory capacity/clarity/skills and general intelligence and creativity (and have at least myself as an example for that phenomenon), so if Hippocampus is required and important for the former, then it would be for the general hierarchical sequence generations and analysis/re-syntehsies as well, which is in short what producing and cognition of creative works is, either "hard" as code or scientific theories, or more artistic as creative writing, music, films. Also "declarative memory" is required for navigation as "memory" - you must be able to record and compare what have you visited and what's "history", in what sequence, what was prior and what follows etc.

It is known by research that the capacity of the working memory strongly correlates with the G-factor - general intelligene, - which suggests both/either the existence of general processing within "mind" and that this memory is somewhat distributed, and/or something that Schopenhauer has suggested in 19-th century if I remember correctly - that the difference between genius and average/mediocre is actually quantative, not qualitative, the latter just runs "out of memory" too quickly and can't reach to the required complexity and length to understand, discover or produce something which is "more meaningful" or original than the expected*.


* If I'm not mistaken that was in "Parerga and Paralipomena"

Prepositions

That reminds me of insights I had about "prepositions" in language and how they related to the Cognitive Algorithm theory of Boris as I knew and understood it back in the end of 2015.

I may revisit the discussion:

To be continued...


* Regarding the "prepositions", mentioned in the article, as material syntactical elements, they could be virtual, implied in the word forms, but also, technically, as someone mentions in the comments section, too, many ancient languages usually are with cases (падежи), the prepositions are scarce or auxilliary or still require cases - such as the European languages: Latin, Greek, German (thus Proto-English), Slavic - except for Bulgarian which gradually lost the cases (except a few informal and in some expressions, and we generally understand some of the cases in kin languages because they use morphemes/suffixes which we use and understand, such as - "у", "ов", "му" - etc. and there are archaisms and Old Bulgarian ("Old Church-Slavonic") which are known such as "Православному българскому народу", "Моли се Богу", и съвременното: "У нас" (At my home, at our home) и пр.

Monday, June 15, 2020

Smarty - Смарти - най-мощният интелигентен английско-български речник (помощник в разбирането, Comprehension Assistant)

"Smarty" - ако ползвате английско-български речници или ви трябват справки от време на време или искате да учите думи, пробвайте прототипа на моя интелигентен английско-български речник, "Comprehension Assistant', който отново се появява на белия свят*.

http://twenkid.com/smarty/Smarty-2007-Comprehension-Assistant-Release-6-2020.zip

Ръководство и описание на функциите, дипломната работа, презентации на английски и български и научната статия:

http://twenkid.com/smarty/

       Доколкото ми беше известно, той беше най-авангардната подобна система в света в момента на направата си - поне известна на мен и там където бях, а мястото беше една от "петте водещи изследователски групи в Англия" в тази сфера, както ако не греша веднъж ни надъха научния ми ръководител. Ако не беше така, проектът нямаше да мине пред него, настояваше за "научен принос", и системата наистина мина през ситото на LREC и IMCSIT. Имаше само два известни комерсиални подобни "интелигентни речници" - един на Xerox Research с по-прост интерфейс и един друг, а онези, които се използваха масово, бяха примитивни, напр. SADict или уеб сайтове, където тогава се работеше тромаво.
        В "Смарти" може да се посочват думите от цял копиран текст, без да ги въвеждаш или маркираш една по една. Една проста, но забавна функция е търсене по окончания на думи, друга - показване на изразите подредени по азбучен ред и прегледно (а не като в САДикт да трябва да ровиш в статията). Разпознаване на изрази - не само точни съвпадения, а и с вариации (можеше да спряга глаголи, да намира основни форми и пр.). История на проверените думи. Достъп до семантичния речник-онтология WordNet и до BalkaNet. Копиране на цялото съдържание в клипборда (търсения, предложени думи, статии в WordNet) и т.н.
* Той беше пуснат в една малко по-късна версия, но после изчезна като мигрирах един сайт. Като изровя малко по-новата версия ще пусна и нея
http://artificial-mind.blogspot.com/2008/07/smarty-extendable-framework-for.html  (не работят линковете)
          За информатици: проектът беше с обем около 9000 реда код на С#, разработени за 3 месеца от нулата. Със сигурност може да се съкратят разни неща или да са по-"културни", въобликът (интерфейсът) можеше да е по-гъвкав (и поне да се преоразмерява) и др., но не стигаше времето и постоянно трябваше да решавам да направя ли това или онова и как, и дали си струва да го подобрявам, да проучвам и т.н. Беше разработван с оптимизация на "скоростта на писане".
         WordNet и BalkaNet напр. се наложи да ги "хакна", тъй като не намерих пряк програмен интерфейс за C# какъвто ми трябваше, може би въобще не е имало такива тогава. Затова разгледах съдържанието на файловете, на WordNet, някаква база данни, което се оказа в текстов формат и му разбрах кое какво значи. На BalkaNet беше прост XML и доколкото си спомням ми се стори по-лесно сам да си напиша "парсер", вместо да търся и да включвам библиотеки. Речниковата база данни имаше нужда от по-сложен парсър и т.н.

Sunday, June 14, 2020

Научено или вродено? Природата или възпитанието? Размисли относно как умът може самостоятелно да разбере разликата между одушевени/неодушевени предмети, разпознаването на лица, езика...


Научено или вродено? Природата или възпитанието? Размисли относно как умът може самостоятелно да разбере разликата между одушевени/неодушевени предмети, разпознаването на лица, езика...1 
блог „Изкуствен разум“, Тодор Арнаудов, 24.4.2010 [Превод от английски]
Някои възможни обяснения, които ми хрумват.

Нативисти, които смятат, че са вродени:
Бебетата различават одушевени и неодушевени предмети прекалено рано и т.н. (т.е. тази способност е вродена)

Тодор:
Бебетата успяват да го направят, защото разликата лесно може да се изведе от суровите сетивни данни. Неодушевените предмети са:
- Неподвижни, статични: напр. места, които изглежда че възбуждат т.нар. „клетки за места“ (place cells), които в мозъка на бозайниците са по-прости стимули отколкото онези, предизвикани от възприятие на „одушевени“ предмети.
- Динамични, но умът може да предвиди бъдещето им с точност, за която вярва, че е „достатъчно висока“. Напр. когато човек хвърли топка, той не знае къде точно ще падне, но топката не би излетяла въобще, освен ако одушевен предмет не я запрати нанякъде.
- Променят се успоредно с волята, заедно с двигателните команди.
- „Линейни“ са (като цяло)
- Местата са неподвижни неодушевени предмети.
Предмет е множество от взаимосвързани стимули (въздействия, възприятия, особености).

Одушевен“ предмет със „свободна воля“:

-
Бъдещето им не може да бъде предвидено с достатъчно висока точност, основавайки се само на наблюдения. Понякога те са напълно непредвидими.
- Могат да започнат да изпълняват последователности от действия от самосебе си, имат „поведение“.
- Могат да отговарят (да реагират) на въздействия, дори и без да бъдат физически засегнати/докоснати.
- Умът може да допусне, че имат вътрешни състояния, които не могат да се наблюдават. Това е „свободната воля“ на неодушевените предмети, „състоянието на техния ум“, мнение и пр., за разлика от предсказуеми обекти, чието състояние е наблюдаемо.
- „Нелинейни“
- Трудно е да съгласувате вашата воля с волята на друг „одушевен предмет“, или за да го направите е необходимо да извършите сложна последователност от волеви действия.
[по-сложна отколкото с неодушевени]
Където „достатъчно висока“ точност е стойност, която умът реши.

Разпознаване на лица
Бебетата лесно могат да забележат, че това е обект, който се променя най-много в неговите първи възприятия, особено очите и устата. Мисля че очите – две петна, които се движат в една и съща посока със същата скорост могат да покажат на развиващия се ум, че са взаимосвързани. Същото се отнася и за носа и устата, които също се преместват заедно. Обекти, които са взаимозависими могат да се групират заедно – това е „лице“, т.е. множество от динамично взаимозависими елементи.
Всъщност, това може да бъде една от първите съгласувани и устойчиви множества от зрителни взаимозависимости/модели, които умът разбира, и по този начин те могат да послужат като основа за бъдещи модели, което може да обясни съществуването на т.нар. „клетки за лица“ и пр. Впоследствие виждаме човешки лица навсякъде и неслучайно сме склонни да откриваме лица и в неодушевените предмети.
Освен това тези стимули отрано и впоследствие са научени като свързани от бебето с неговите собствени чувства и поведение и с поведенията на други деятели, т.е. тези функции са упражнявани многократно и в голям обем.

Защо бебешкият плач ни дразни?

Нативисти: „Еволюцията го е кодирала“ и т.н., за да може да извика майка си да се погрижи за него...
Тодор: Всъщност е възможно и просто обяснение: защото ни напомня на нашия собствен плач и тези звукови модели са се запечатали дълбоко в ума ни като ранни неприятни преживявания.

Защо „мама“ значи „майка“ на толкова много езици?

Това също лесно може да се обясни – моята теория е, че произнасянето на “мама“ е едно от най-простите членоразделни говорни действия, ако не и най-простото – просто устата се отваря и затваря два пъти + издишане.* Звукът е разпознаваем дори и без издишане и дори кучетата могат да бъдат научени да казват „мама“.
Мисля, че е важно, че има две действия за отваряне и затваряне, защото това може да служи като потвърждение на първата сричка.
Така че смятам, че всъщност самите бебета са измислили думата за своите майки и след това родителите им също са започнали да я използват.

*Впрочем, проектирах и разработвах синтезатори на реч и имах планове за подобрения, но не и време...

Функциите на хипокампа2:
- образуване на дълготрайна памет
- навигация
- клетки за посока на главата
- клетки за пространствен изглед
- клетки за местата
Най-малко някои или дори всички от тези особености могат да се обобщят. Местата и навигацията (ориентирането и придвижването в пространството по правилен, желан начин) вървят заедно. Местата са дълготрайна памет на статични недвижими неодушевени предмети (деятелят не е имал опит, в който тези предмети, обекти са се премествали).
Навигацията, посоката на главата, пространствения изглед, клетките за места – всички те са множество от взаимозависимости, намерени между двигателната и сетивната информация, и дълготрайна памет, която се изиква от действащите в момента двигателни и сетивни модели (това което животното или човекът иска да прави и прави, и онова, което възприема през сетивата си).
Статичните недвижими неодушевени предмети (места) се променят – техните координати се преместват, завъртат, и пр. - нак-бързо в зависимост с посоката на главата (положението й) и с движенията на същата.
Навигацията и пространствения изглед са производни на по-горното.
Език
Определението по-долу има нужда от уточняване, но накратко бих казал, че:

Езикът е йерархично пренасочване/абстрахиране(отвличане)/обобщение/компресиране на последователности от сетивни входни данни и двигателни изходни данни – заповеди за движение, - и записи и предвиждания и за двата вида последователности.
Шимпанзетата могат да общуват с жестовия езика на глухите, напр.:

http://en.wikipedia.org/wiki/Washoe_(chimpanzee)

Огледални неврони

Те са открити опитно при макаците (rhesus monkeys), но и без научни опити и локализация на определени неврони е добре известно, че маймуните имитират хората. Маймуните могат да подражават на лицеви изражения и действия с ръцете като например хващане на предмети, „бране“. Известни са изследванията на Милцов (Miltzoff), които доказват, че новородените човешки бебета на възраст от няколко седмици са способни да имитират някои лицеви изражения като плезене с език. Бебетата на тази възраст никога не са виждали себе си
[а и зрението им е недоразвито], и други опити показват, че бебетата на тази възраст [и на по-голяма] не са способни да разпознават различни лица или да намерят разлики между лица, които нямат нос или уста или са двуизмерни, вместо триизмерни и пр. (бебето се усмихва, дори и когато види изкуствено лице, по Фанц, Р., 1966 от Р. Стаматов, „Детска психология“3).

Това също е интересно, но не знам колко обстойни са били опитите относно показване на бебетата на стимули, подобни на лица.
Тези способности могат да изискват определени вродени връзки между първичната обработка на образи (намиране на контраст/промяна на цвета и пр.) и двигателните команди към лицето и мускулите на езика. Предполагам, че тази част от работата може да бъде извършена и без кората на мозъка, би могла да работи и на много ниска разделителна способност. Или пък може да има някакви предварително свързани „огледални невронни“ в кората, свързани с този процес.

Други изследвания посочват, че зрителната острота на едномесечно бебе е около 1/30 от тази на възрастен, и расте до около 1/4 на осем месеца4.

Относно имитирането на действия с ръцете от маймуни, мисля че това може да се научи чрез съпоставяне на подобия. Човешките ръце зрително са подобни на ръцете на маймуните, те са „пръчки“ и „равнини“, които се преместват, въртят се и пр.
За разлика от лицето, маймуната може да види своите собствени ръце и ръцете на другите и може да построи съответствия между тях. Не знам как се извършва, но мисля че би могло да се случи и без предварително свързана карта. Бих цитирал моята собствена юношеска Теория на Разума и Вселената, където заключих, че умът е универсален йерархичен симулатор и предсказател на въображаеми вселени, където тези въображаеми вселени са изведени от сетивни данни.
(...)


2 Част от мозъка на бозайниците, известна още като „архикортекст“ - стара кора – трислойна, за разлика от шестслойния неокортекс, във формата на морско конче.
3 Румен Стаматов, „Детска психология“, 2006, Хермес
4 Пак там.