TensTorrent and Cerebras - Novel Advanced Computer Architectures for Deep Learning/Neural Networks Training

Interesting systems to check:

TensTorrent Startup: https://www.tenstorrent.com/technology/

Their architecture offers more independent parallelism of the cores than the current GPUs/TPUs, or as they express it: "Fully programmable architecture that supports fine-grain conditional execution, dynamic sparsity handling, and an unprecedented ability to scale via tight integration of computation and networking"

Cerebras Systems: Building the World’s First Wafer-Scale Processor

https://youtu.be/LiJaHflemKU

An amazing hugely-multi-core processor with 1.2 Trillion/2.6 Trillion transistors, with defect redundancy (the system can tolerate the presence of some defected cores which are expected) and inter-chip buses, which covers an entire silicon wafer. Their first version CS1 claims 400000 "AI-Optimized" cores, while the second CS2: 850000 cores, also 18 GB and 40 GB respectively on-chip memory, accessible in one clock. The die size is 46225 sq.mm compared to 815 sq. mm and 21.1 Billion transistors for a given biggest-die GPU at the time (2020).

How The World's Largest AI/ML Training System Was Built (Cerebras)

6857 показвания •18.07.2020 г. NASJAQ

https://youtu.be/Fcob512SJz0


https://cerebras.net/product/

Тошко 2.075 - безплатен синтезатор на реч, говореща програма | Toshko 2.075 Bulgarian TTS engine

Поправка на малък бъг, свързан с работата при липса на Интернет връзка.
Виж и изтегли от: https://github.com/Twenkid/Toshko_2

Is the new theory of the "Thousand Brains" by Jeff Hawkins a new one? - and an announcement about the yet unpublished book How an 18-year OId Prodigy Researcher Preceded MIT and Stanford by 15 years in AGI

The second book by Hawkins was published in March: A Thousand Brains: A New Theory of Intelligence Hardcover – March 2, 2021 by Jeff Hawkins (Author), Richard Dawkins (Foreword) https://www.amazon.com/Thousand-Brains-New-Theory-Intelligence/dp/1541675819

It might really be new regarding the neocortex, but I didn't find it so new reg. AGI and epistemology. In brief, all these directions, working with universal/general "reference frames", 3D-space, search for coordinates and their relations follow directly and obviously from the sensorimotor school of thought and they have been expressed in many places, for example I'd say even in "Five basic principles of developmental robotics" by Stoychev (see the discussion in the blog), my older than that theory and publications and Hawkins' own earler book "On Intelligence" (2004). 

 For a more extensive review of why these ideas do not seem so new see my upcoming book "How an 18-year old prodigy researcher preceded MIT and Stanford by 15 years in AGI", originally in Bulgarian: "Как 18-годишен информатик от Пловдив изпревари MIT и Станфорд с 15 години във всеобщия изкуствен интелект, или Универсален изкуствен разум: Artificial General Intelligence".

It is a call for collaborators, cofounders, researchers, supporters, sponsors for the creation of an interdisciplinary institute about which I wrote in my teenage essay 18 years ago in 2003: "How would I invest one million Euro to achieve the best progress of my country" (see in the links) - MIT and Stanford created interdisciplinary institutes with somewhat similar headlines in 2018 (MIT claiming one BILLION $ investments), the famous Bulgarian AI researcher Martin Vechev, leader of the startup "DeepCode" for code synthesis, together with Bulgarian Academy of Science are also about to create an academic AI institute and infrastructure in Bulgaria.

My book is a historical documentary collection of various works, publications and comments, full or excerpts, mainly mine and references to other contemporary researchers' and other articles about the topics, announcements about events etc., presented in chronological order, with added additional notes. 

The work was in a somewhat "complete" state since August 2020, but I've been hesitating how exactly to present it. It seems unlikely to get it printed commercially: it's huge, in current formatting 1028 pages A4 in the full version. It could be condensed a bit due to some deliberate repetitions (for finding some texts in a shorter and longer chronology). However I don't see interest for now.

The work on the book was on hold, until last month when I added a lot of material and editions, including notes on that new Hawkins' book and other discoveries of "new" ideas in AGI which happen to be repeating ones expressed in my early 2000s works, such as one 2021 Google Brain researcher's generalisation about what general intelligence is about - see in the book; I may post an article in the blog as well.

Consciousness Prior and Causality - matches of Bengio's 2017-2018 example and ideas with Todor's "Theory of Universe and Mind" from 2003-2004

See especially my example with the thrown coin, whose trajectory and future we predict with absolute precision at linguistic level, verb-noun, sentences, and humans believe that this proves their free will, but it is true only due to the very low bandwidth/bit-rate; compare it to Bengio's example, where he throws a little piece of paper - "if I try to predict... it is very hard ... but I could predict it is going to be on the floor". Etc. Point 6 in the 2004 work below, also section 14. in the 2003 Part 3.

My examples and definitions are broader and more philosophical, they are part of the emphasis in my Theory that the core of intelligence is prediction of the future (will, causality) and compression; about the "compositionality" (see Bengio's talk also), the ranges of Resolution of Causation and Resolution of Perception, in which mind operates, and that there are degrees, in the terminology of mine - there are virtual universes at different levels; "levels of abstractions/generalisations". The examples in my discussion are also about the notion of "free will", using the information bandwidth for showing that the "free" component of our and "conscious" will (causation power) is ridiculously low - just a few bits per second.

What B. calls "consciousness prior" is a higher level top-down direction/drive, reducing the search space (yes, "attention" as B. mentions), a high degree of compression and operation at low resolution, searching for matches and reducing the resolution of perception and causation to as low as allowing for complete match/prediction with the maximum target resolution for that virtual universe etc. These are the cognitive aspects, they do not require the transcendental ones of consciousness, qualia, subjective feeling etc.
For original sources in Bulgarian and other translations see below the comparison table.

From Deep Learning of Disentangled Representations to Higher-level Cognition

52 735 показвания

•  9.02.2018 г.
Refers to "The Consciousness Prior", Bengio 2017: https://arxiv.org/abs/1709.08568

 https://youtu.be/Yr1mOzC93xs?t=2486


Bengio's presentaton Slide @ 38:29:

* Conscious thoughts are very low dimensional objects, compared to the full state of the (unconscious) brain.
* Yet they have unexpected predictive value or usefulness

- strong constraint or prior on the underlying representations

  * Thought: composition of few selected factors/concepts (key/value) at the highest level of abstraction  of our brain
  * Richer than but closely associated with short verbal expression such as a sentence or phrase, a rule or fact (link to classical symbolic AI & knowledge representation)

Yoshua Bengio, 53 years old, 1.2018 Turing Award, MILA leader, "AI godfather" Talk at Microsoft Research : "From Deep Learning of Disentangled Representations to Higher-level Cognition"

Todor Arnaudov, 18-19-years old, 2002-2004 "The Sacred Computer" AGI e-zine* (the original is in Bulgarian)

Regarding unsupervised ML models for speech, not recognizing phonemes properly, because, B. argues, their information content is very low, compared to that of the raw audio: 37:06: "How is it that these models haven't been able to discover them and then see that there's like this really powerful part of the signal, which is explained by the dependencies between phonemes? And the reason is, I think, simply that that part of the signal occupies very few bits in the total number of bits that is in the signal, right? So, the rows in this signal is 16 thousand real numbers per second. How many phonemes per second do you get? Well, I don't know, 10, right? or maybe 16. So there's a factor of a thousand in terms of how many bits of information are carried by the word level, phoneme level information versus the acoustic level information." On "Consciousness Priors" "And the prior is that, there are, the assumption about the world is that, there are many important things that can be said about the world which can be expressed in one sentence, which can be expressed by a low dimensional statement. Which refer to just a few variables. And often they are discreet those we express in language, sometimes they're not. We can like draw or somehow, use that to plan. But they are very, very low dimensional. And it's not obvious, if priori that things about the world could be said that are true and low dimensional. 41:29 "If I try to predict the future here, there are many aspects of it that are hard for me to predict. Like, where is it going to land exactly? It's very, very hard to predict,right? It's a game. But, I could predict that it's going to be on the floor. It's one bit of information. And I can predict that with very, very high certainty and a lot of what we talk about are these kinds of statements. Like, if I drop the object, it's going to end on the floor, in this context. So, this is the assumption that we're trying to encapsulate in machine learning terms with this consciousness prior idea. 42:10"

"Theory of Universe and Mind - Part 4", 2004 (...) 6. The Resolution of Causality-Control (RC) describes the capability of a Causality-Control unit to output data from its memory (its universe) to the memory of the mother universe in a way that the changes in the mother universe to be closer to the smallest possible changes in the mother universe and most close to the expected ones. The Resolution of perception (RP) shows what features from the mother universe are perceived (distinguished) by the evaluating unit, which is a subordinated universe. When a person decides to throw a coin and executes that action, she thinks/assumes that (...) she has done "what she wanted to do". The Resolution of Causality-Control and of the Perception in that case is described by verbs, nouns, adjectives, prepositions etc. parts of speech of the language of the beings possessing general intelligence. That language, called also "natural language", describes the way by which the human mind perceives the world and it is limited by the narrow information bandwidth, accessible to humans. The linguistic description gives a sense of freedom to the human mind to do "whatever she wants" [namely] due to its low resolution and the low criterium of the precision of the execution of "what she wants". For example, the Resolution of Causality-Control and Perception in the example above is verb-noun. (...) However the resolution in the mother universe, where human mind is defined, is way higher, because the Universe is not built of coins and humans, the interaction between which could be described with insignificantly low number of linguistic elements such as: I throw a coin on the floor. I throw a coin on the table. I throw a coin behind the sofa. I throw a coin through the window. I throw a coin in the toilet. I throw a coin in the corridor. 27.8.2002, a letter in "Theory of Universe and Mind - Part 2": "A human can output merely several tenths of bits per second [consciously]..." Theory of Universe and Mind, Part 3, published 8.2003, "The Sacred Computer" #25: (...) [See also the definitions of a "Control-Causality unit" etc. - the quote would become too big.] 14. "We", whatever we are, control a very little part of us. Say, we order our hand to throw a coin, and that consists of a sequence of simple instructions, sent to the muscles of our hand; the muscles consist of a huge number of particles, for which the control unit (the human; the matter about what we are conscious of) doesn't have knowledge and "we" ["the consciousness"] as that control unit cannot apply its power upon them individually; the resolution of its power is limited. The muscles flex, that way they pull the bones and the whole fingers. Therefore, in fact the parts of the body, which we [believe] that we do "control" [cause wanted changes to with predicted and wanted target state and precision] do a big portion of their job on their own, i.e. "they know their job", and we - our consciousness - has only a superficial image/representation (представа) of that "job". For example, the instruction with which we order the finger to flex, is described by, say, a few tenths of bits. The evaluation, of course, depends on the way we measure it. We could converge the description down to: E.g.: which hand (1 bit) + which finger (2.3 bits) + to flex or to extend (1 bit) + force (I don't know how many degrees) + time for activation of the force. The conscious information could be counted in bits by the fingers of the hands, while in order to flex the finger in the Universe, in the Main Memory, the whole information, which describes the finger and the connected devices to it from the hand, which motion pulls the finger, should be translocated - muscles, tendons; blood vessels, which feed it etc. - all that should go a particle by particle... I have no idea how many bits would take to define, an atom by an atom, just a finger... (...) 51. The more sophisticated a device (entity) becomes, the more the capabilities for prediction of the future grow and the more it evades unpredictable and random states, i.e. states characterized with lack of a desired information. The more sophisticated an entity becomes, the more it employs the past, the memories, on order to build its behavior in the future, because it discovers that the past has patterns, therefore the future is predictable.

Compare "closely associated with short verbal expression such as a sentence or phrase" [slide] with "For example, the Resolution of Causality-Control and Perception in the example above is verb-noun ..." etc.


Regarding throwing etc. - the full prediction is not only where it will land exactly, but the entire trajectory of the object, where in both cases there could be resolutions, at best: all steps at the highest possible resolution of causation and perception for the "mother Universe", i.e. that would invole Planck constant scale etc.


http://eim.twenkid.com/old/eim18/predopredelenost2.htm
http://eim.twenkid.com/old/3/25/pred-3.htm
http://eim.twenkid.com/old/4/29/pred4.htm
http://research.twenkid.com/agi/2010/en/
http://research.twenkid.com/agi/2010/en/Todor_Arnaudov_Theory_of_Universe_and_Mind_3.pdf
http://research.twenkid.com/agi/2010/en/Todor_Arnaudov_Theory_of_Universe_and_Mind_4.pdf
http://research.twenkid.com/agi/2010/en/Todor_Arnaudov_Theory_of_Hierarchical_Universal_Simulators_of_universes_Eng_MTR_3.pdf


The "Sacred Computer" works also have copies in the geocities archive oocities etc. and maybe also in archive.org

Срещу очернянето на изкуствения интелект и свръхчовечността (трансхуманизъм) от социални учени и др. пропагандисти заради препредаването на англосаксонски мироглед и ценности, чрез употребата на объркани заблуждаващи понятия и заради определени приложения на технологиите

Коментар на Тодор в отговор на интервю на проф. Иво Христов, който и в други случаи е използвал подобна реторика, подобно на Олга Четверикова, Иван Спиридонов и др.

Това са англосаксонско-западноевропейската интерпретации на свръхчовечността, "трансхуманизъм". Българската свръхчовечност и Универсалния изкуствен разум нямат такъв дух и такива цели.

Една обща логическа грешка, която допускат много хора свързана с "човешка природа", "човечество" и т.н. са, че това са заблуждаващи и мъгливи понятия. Миналата година публикувах книга, която подробно разглежда явлението, отчасти неправилно образуване на понятията, включително употребата на "трансхуманизъм" и "изкуствен интелект" за назоваване на неща, които са нещо друго и са си съвсем човешки:

ЗАБЛУЖДАВАЩИТЕ ПОНЯТИЯ И
РАЗБОР НА ИСТИНСКИЯ ИМ СМИСЪЛ:
Трансхуманизъм, Цивилизация, Демокрация, Хуманен, Хуманизъм, Дехуманизация, Социална дистанция, Политическа коректност, Фалшиви новини, Евроинтеграция, Глобализация, Европейски ценности, Либерализъм и други

Бр.33 на сп. "Свещеният сметач": http://eim.twenkid.com

"Човешка природа" (без уточнения) и "човечно" са както нацистките жестокости и опити за създаване на "по-висша раса" (все пак - "за доброто на човечеството" [според тях]), кланетата при всяка война (те се вършат и от обикновени хора [т.е. са или могат да бъдат масово явление и на индивидуално ниво]), така и грижата за беззащитни животни, любовта към природата [децата, животните, беззащитните] и т.н.

Т.е. това е безсмислено и заблуждаващо понятие. Без прецизно определение при всяка употреба, подобно на "демокрация", "цивилизация", [то] има пропагандна цел или е повторено от някъде. Дали хората от третия свят са щастливи, че са "част от човечеството" (дали въобще разбират и как разбират това понятие)? Винаги е имало "различни човечества", дори и в биологичната си форма има огромни различия между индивидите, както умствени, така и във физически способности - от пигмеите в Африка, от посредствените или умствено изостаналите или хора с увреждания, до свръхнадарените хора; от болнавите, до столетниците и т.н.

Невробиологът Сергей Савельев например често обяснява, че разликата в мозъка между индивидите (в разпределението на различните функционални зони) е по-голяма отколкото междувидова в животинския свят, някои зони се различават по размери до 40 пъти, други по няколко пъти, някои са налице само при гении.

Думата "човечество" се употребява именно от тези зли трансхуманисти от англосаксонския свят, които с всякакви технологии са имали един и същи подход и цел: завладяване и господство над останалите (маймунски нагон), изкуственият интелект няма нищо общо с това, и той в подходящи ръце може да им попречи.

Науката и медицината винаги са се опитвали да "променят човека", медицината по определение има за цел да удължава човешкия живот и в нея и във всякакви свои дела "човек се прави на Бог" - това не е никакво откритие или ново "дяволско" желание на "трансхуманизма", - човек винаги е искал да живее вечно в същата личност, същата е целта и на Християнството, това се нарича "Спасение" и "Вечен живот" и не е по-различно от идеята на Свръхчовечността.

Под "свръх" в източното православно мислене се разбира: "На когото повече е дадено, от него повече ще се изиска". Свръхчовечност не значи задължително свръх-поробване - зависи в чии ръце е "свръх"-а. Ако е в ръцете на онези, които винаги са постъпвали по този начин, ще е поробване. Ако е в други ръце - ще е повече любов. Човек във всяко свое творческо дело "се прави на Бог", не само в най-грандиозните. Различната организация на обществения живот не е "изкуствен интелект", а е именно организация на този живот и се извършва под ръководството и в изпълнение на хора (вид примати) и за задоволяване на техните "човешки" (маймунски) нужди и цели, една от които е маймунската им воля за власт над останалите (вижте шимпанзетата), един от първичните им нагони.

Всички жестокости [досега] са извършени от човешки същества (хомо сапиенс), всички психопатични закони и кланета са извършени от човешки същества, за техните "възвишени" цели.

[Не следва ли от това, че] Хората, елитът им, обществото, държавите, обществените организации като църкви като цяло, са "изроди" и зверове в някои мерки според собствените си определения за това, [понеже] нарушават по най-циничен начин собствените си "морални ценности" и убиват, лъжат, крадат и т.н.

Така че ако част от тоя "човешки" (маймунски) елит иска да изтреби по психопатични подбуди част от другите - в това няма да има нищо ново и [решението им] не е свързано с технологиите, а именно с "природата на човека"... [тъй като те все още са човеци.]

ИТ пазарът в Пловдив, научноизследователската и развойна дейност в информатиката, и изпреварващите изследвания в Универсалния изкуствен разум (всеобщ изкуствен интелект, Artificial General Intelligence)

Коментар на Т.А. към Г.Г. от публикация в пловдивска група "IT in Plovdiv":

Г.Г.:

Пловдив е супер за правене на ИТ фирма, но поради спецификите (150км до София, където има 4 пъти повече хора и %-но поне 3 пъти повече разработчици на глава от населението, т.е. 12 пъти повече от Пловдив) това се отнася само за определена големина фирми (малки до средни). Друга специфика на нашия все още млад ИТ пазар е, че България все още е в първата фаза на ИТ-развитието си и основно прави аутсорсинг. Това води до там, че фирмите, които идват в България са такива, на които им трябва маса, а не толкова качество, това пък прави Пловдив не толкова практично решение извън варианта "втори офис към основния в София". Когато докараме до следващата стъпка - собствени продукти и разработки (дай Боже някой ден и стъпка 3 научен ресърч), тогава Пловдив е много конкурентен заради готиния и не толкова натоварен живот.

Не съм съгласен, че българският ИТ пазар, или по-точно ИТ отрасъл, бил млад – всъщност е над 55-годишен, ако ЕЛКА-6521 се смята за прощапулник - продукт на световно ниво. ИЗОТ е огромна корпорация през 70-те и 80-те. Само ДЗУ Стара Загора през 1988 г. има приходи от 2 млрд.$ и не продава само в социалистическия блок; като се има предвид и че дялово, 2 млрд. долара във високите технологии през 1988 г., вероятно са много повече отколкото ~4.33 млрд. през 2019 г. (приравнено с инфлацията) или днес; например през 1980-те години китайската компютърна индустрия е в зародиш, а от Запад, "защитник на свободния пазар", има ембарго за износ на високотехнологични продукти. Вижте документални филми от 1980-те за мащаба на ДЗУ: "ДЗУ Стара Загора - 1985 и 1988 г." https://artificial-mind.blogspot.com/2018/10/1985-1988-dzu-stara-zagora.html. Виж също книгата "Спомени за запаметяващи устройства", 2020 г. https://iztok-zapad.eu/spomeni-za-zapametyavashti-ustroystva]

Млад е след разрушаването на стария, който е съвременник на Intel и AMD, и въпреки че новите ни партньори ни помогнаха в унищожаването и изсмукването на човешкия ни ресурс и индустрията, у нас все още има потенциал, и той се крепи на излятата през 1960-те години основа, на прав'ците в училищата през 80-те и на пионерното преподаване на програмиране в пловдивската МГ още през 1979 г.(?), на явлението на учениците вирусописачи от българските МГ-та (София, Варна, Пловдив); на първата международна олимпиада по информатика за ученици, проведена през 1989 г. в Правец (не в Лондон, Париж, Токио, или Москва) и т.н.

Сега чакаме в България и в другите страни "да идват фирми", защото няма и изглежда не се и задържа/натрупва/възпроизвежда собствен капитал със значителна стойност, или няма желание да се влага.

“собствени продукти и разработки (дай Боже някой ден и стъпка 3 научен ресърч)...”

Всъщност има научни изследвания и собствени продукти. И в университетите, поне в ПУ, и извън тях съществуват изпреварващи  изследвания, извършвани от „антични герои" на мускули срещу Стихиите.

Античен информатик от Тракия, град Евмолпия,
дн. Пловдив, 2020 г. сл.Хр.

...

Моите изследвания, публикации и инициативи в универсалния изкуствен разум (всеобщ изкуствен интелект, Artificial General Intelligence) изпреварваха или бяха съвременни със световните, макар че съм с десетилетия по-млад от колегите си.

Един от многото примери е книгата на Джеф Хокинс "За умствените способности" ("On Intelligence"), която става световен бестеселър и авторът получава суперлативи от различни учени, а тя идейно и принципно ниво разказва за обобщения, които бях направил и публикувал в моите разсъждения за ума, между края на 2001 и началото на 2004 г. в сп. "Свещеният сметач" в юношеска възраст. Книгата на Хокинс излиза през есента  на 2004 г., научих за нея през лятото на 2007 г.

По-подробно по темата в моята книга:  "Как 18-годишен информатик от Пловдив изпревари MIT и Станфорд с 15 години във всеобщия изкуствен интелект, или Универсален Изкуствен Разум - Artificial General Intelligence". Тя е хронологично-документален сборник с допълнителни бележки, готов от миналата година, но все още се колебая как точно да я представя. В сегашната редакция е над 840 стр. във формат А4.: Повече за книгата:



Обобщаващо:

* Интердисциплинарният курс по Универсален изкуствен разум (Artificial General Intelligence) в Пловдив, с оригинална програма, беше първи в света, 8 години преди курс в MIT (който много хора сигурно мислят за първи). Бен Гьорцел (един от иконите на AGI, създател на Novamente, OpenCog, световната конференция по AGI) оцени курса и ме поздрави, когато разбра за него.

* В есе от 2003 г., писано в Пловдив от мен на 18-годишна възраст - "Как бих инвестирал един милион евро с най-голяма полза за развитие на страната", описвам стратегия за създаване на интердисциплинарна изследователска компания с крайна цел мислещи машини (и не само). Университетите "Станфорд" и института MIT, имащи може би най-голяма традиция в изкуствения интелект, започнаха да прилагат в някакъв смисъл идеи от нея през 2018 г., 15 години по-късно и също подчертават интердисциплинарността, MIT – с обявено вложение от един милиард долара. Есето ми използваше изрично думата „стратегия“ и посочваше ключовото значение на интердисциплинарността, съвместна работа на експерти във всевъзможни научни и творчески области, и особено на интердисциплинарни личности, които разбират и могат да боравят с наглед несъвместими сфери на познание и творчество и "омесват науките", и насърчаването на млади таланти в тази област (тогава включвайки и себе си).

БАН изтъкват важността от интердисциплинарни докторски програми и др. 16-17 години след есето ми ,  в тяхната стратегия за ИИ от 2019-2020 г. (но доколкото разбрах от нея - в друг по-тесен смисъл).

* За всеобщ изкуствен интелект в Пловдив се пише творчески от началото на 2000-те години в сп. „Свещеният сметач“, едно от първите електронни списания в българския Интернет въобще, като една от основните му теми беше универсален изкуствен разум, там се въвеждаха нови термини за разграничаване от „изкуствен интелект“ (мислеща машина, изкуствен разум) и се публикуваха теории, паралелно и независимо с подобни процеси в които Бен Гьорцел, Питър Фос, Шейн Лег изковават техния термин „AGI” и започват тяхното движение за „нов“ изкуствен интелект.

* Теорията и принципите от тогава, които мислих и писах в т.нар. „Теория на разума и Вселената“ (обобщаващо заглавие), и до днес се преоткриват обясняват като „новаторски“ или "впечатляват публиката" например през интервюта и статии на Карл Фристън (виж научни статии и интервюта от 2018 г. например), който е един от най-продуктивните учени, невроучен, с безчет научни публикации.

* По въпросите за "етиката", преди 9 години, в началото на 2012 г., водех кореспонденция с тъкмо новосъздаващия се Оксфордски институт за бъдещето на човечеството (на небезисвестния Бостром), критикувах подробно част от демагогията на англосаксонската им гледна точка и "етика", а по въпроса бях писал още около 2001-2002 г.  През януари 2020 г. философ от БАН, с 5-години по-възрастна от мен, издаде  книга за изкуствен интелект, в която авторът М.Т., която получава доцентска титла с този труд*, макар че закъснява с близо 20 години от българската литература "Произведена в Пловдив", разглеждаща на етиката за мислещи машини (виж сп. "Свещеният сметач", 2001-2004)

* Интервюто от 2009 г. („Ще създам мислеща машина, която ще се самоусложнява“) е дадено цяла година преди създаването на компанията „DeepMind” (вече част от Гугъл), споменавам един от бъдещите й основатели Маркус Хутер*, друг е неговият студент и колега Лег. И т.н.

* Фейсбук групата по AGI към курса по УИР от 2010 г., на български, е с 5 години по-стара от сега популярните англоезични групи.

И др.

Забележки:

* Кой съм аз да оценявам труда на истинската наука (в случая е философия всъщност)? Онзи труд има своя научен принос в неговия контекст и конкретната форма на представяне и съдържание, и с "модерните" етични течния (чужди, англосаксонски - виж книгата в която разгледах този въпрос през 2020 г. в бр. 33 на "Свещеният сметач": ЗАБЛУЖДАВАЩИТЕ ПОНЯТИЯ И
РАЗБОР НА ИСТИНСКИЯ ИМ СМИСЪЛ:
Трансхуманизъм, Цивилизация, Демокрация, Хуманен, Хуманизъм, Дехуманизация, Социална дистанция, Политическа коректност, Фалшиви новини, Евроинтеграция, Глобализация, Европейски ценности, Либерализъм и други http://eim.twenkid.com
и във втората част на поредицата за Мислещите машини).

Обаче ако колегата е "доцент", а някой е  изпреварил БАН с 16-19 години с оригинални работи и с лична критична кореспонденция с "храма на философията" Оксфорд (8 години преди тази книга), при обективни мерки сигурно би трябвало да бъде "академик член-кореспондент".

Някои източници:

https://artificial-mind.blogspot.com/2009/11/dreamers-and-adventurists-do-big.html
https://artificial-mind.blogspot.com/2020/07/interdisciplinary-research-institute.html
https://artificial-mind.blogspot.com/2012/02/philosophical-and-interdisciplinary.html
https://web.archive.org/web/20050226175146/www.geocities.com/eimworld/eimworld13/izint_13.html
https://artificial-mind.blogspot.com/2019/02/on-paper-hierarchical-active-inference.html
Първият в света курс по Универсален изкуствен разум - Пловдив 2010 беше 8 години преди MIT 2018
https://youtu.be/tyXgSowFlmk
https://www.facebook.com/groups/115986208422069/permalink/3747208378633149/?__cft__[0]=AZXuOZWDWhf6hQkhPFestg_MXgLslm-uJCqHW12uoT945mseU3perMCjBQ0fv4jTUCX_orl0XOhfXrxsQQMaHU0nsnbCDeWrvyvKxDcP74KCz0CezrWOMfPZXFqHQibsAkFius01wWoxwJWiIkga_09IBbztvAvKrjPZ6oBdF718xW3wAw2FFB4tJicXGz7CS0U&__tn__=%2CO%2CP-R

Приложение: Във ФМИ на ПУ естествено се извършва научна дейност в областта на информатиката. Някои конкретни неща: SolidOpt на Васил Василев и Александър Пенев - Васил след това стана главен разработчик на интерактивния интерпретатор на C++ Cling в CERN. В ПУ студенти бяха също колегите Деян и Христо, които разработваха програмата за тримерно моделиране "RADA", имаха собствена лаборатория и двамата са известни таланти в компютърната графика. И други колеги се занимавах и продължават с авангардни неща, например Димитър Благоев и др.

* Виж също колегата беларуски "античен програмист" Максим Трухоновец: https://youtu.be/EWtbt_QPFsg

* Виж също епосите на "Свещеният сметач": "Сметачна бивалица":

Сметачна бивалица

От българин сметачът беше сътворен
през трийсетте във свят отдалечен.
Великан отне му славата за време -
ЕНИАК бе той, потомък на сащанско племе.

ЕДВАК, ЕДСАК с туловищата си големи,
отваряха врати към нашто ново време.
В Съюза МЕСМ пълзеше бавно,
скоро ЮНИВАК изпъкна славно.

Широко умните машини се разпространиха,
за тях езици сложни се родиха.

ФОРТРАН наречен беше първият от тях -
отдавна е потънал в прах.
В сметачища той още само се използва,
в сметачета май вече никой го не ползва.

...

Сметачът се роди в България през шейсетте
и знанието му започна бързо да расте.
В два лампови ЕИМ-а първо се превъплати,
и в няколко сметалки духът му се всели.

Елка стана гордост наша след това.
ЗИТ започна свойта работа.
ИЗОТ - сдружение велико се роди.
Към Единната система България се присъедини.

Полупроводници във ИМЕ почнахме да правим,
със тях ний умознанието си далече да прославим.

Във областта на ЗУ държавата ни се стесни
и почна много ЗУПИ-та тя да строи.
Плочници ний също правихме привлекови
и памети работни и вършачи
за всякакви по вид сметачи.

Всичко що умът ти може да роди,
се правеше по нашите земи...

По-знатно ставаше със времето ИМЕ,
вършачета родиха се в средата на седемдесетте.
Във края на десетилетието бурно
СМ601 излезе
и широко във стопанството навлезе.

Привлековите ивици се подобряваха за дни
и плочите растяха, и знанието им се умножи.
Все по-обемни памети се правиха в ИМЕ.
България бе веч страна с име.

Система малки междувременно се пръкна.
Сметалките във джобче се смалиха.
Сметачи лични във света пък се родиха
със тях и ИМКО - наште го изобретиха.

Деветото десетилетие дойде -
това беше през осемдесетте,
когато ИМКО се излюпи и българската мощ
жестоко се разлюти.

Във Правец взеха да градят
сметачи - 82 ги тях зоват.
Със Ябълката бяха те братлета,
вършееха из нашите полета.

Последваха усъвършенствани модели:
Емчо ни откри невиждани предели.
Домашко пееше със глас звънлив.
Цечо бе от всичките май най-усложлив.

Шестнайската от Правечко семейство,
със мацето се бе сближила.
ИЗОТ-че малко, мило,
със Зилог беше от едно котило.

Интел също във ИМЕ навлезе,
и 688 от завода произлезе...

...
Велики умове родиха се у нас.
Отмъстител мрачен
пусна няколко зарази,
и света започна здраво се пази
от вирусчета - тези нови врази.

Но тъжно е, че щом назад погледна,
бивалица виждам само... А щом седна
да мисля за времето сегашно -
то лошо е...дори ужасно...

Нашите правачи извайваха сметачи,
но мина време доста... Кости...
Само кости и малко кожа покрай тях
останаха... Черна дупка зее в нас.

Какво се случи с Правец? - почина неотдавна.
Със ДЗУ какво стана? - живее то - едва, едва...
ИМЕ мъждука също слабо.
ИЗОТ от великан голям в мъниче се смали... Без срам
приказват някои глупаци -
омаловажават постиженията на нашите юнаци,
сметачи превелики дето сътвориха
България далече прославиха.

Велики сте, юнаци наши,
велики сте, а тези, другите - глупаци,
които вашто име свято оскверняват,
които змейщината своя лесно изразяват?

Юнашкият ни меч от слово ще ги порази ли?
Със нежна сила ще ги вразуми ли?
Не знам, юнаци, но помнете свойто минало!
Славете дивната история!
Не злословете, не омаловажавайте...
Спрете с думи хулни по сметачите велики!
Вместо туй на тях вий се опрете,
ново дело започнете,
бъдеще красиво сътворете!

Тош, 10-21.6.2002

сп. Свещеният сметач и стихосбирката "Играчът"


Виж също:

"Сметачна бивалица 2"

Сметачът се роди в България през 60-те
и знанието му започна бързо да расте.
С Елка почна да се хвали нашто умознание
и да се гради държавното сметачознание.

Седемдесетте донесоха му луд възход.
Осемдесетте начало бе на ход
за допир с тях - сметачетата мили,
до всички що желаят.

Осмачетата бяха на върха на славата си дивна.
Юначетата се множаха, творенията им красяха
платната едноцветни на сметачета безчетни.

По света говореше се за Осмака,
за България - страната,
дето трета е в света
по искрилознание. Но
скоро след това се случи нещо лошо.

Десетото десетилетие заидва.
Отвори се купилището и
западна нашто умознание.
Запада захлупи го.

Отдавна си говореха искриловеди,
че умознанието ни е старо.
От дълго си личеше,
че е морално остаряло.

И лъсна бързо този недостатък,
и заличи се нашият подарък
от съдбата: да бъдем жители
в държава трета във света.

У нас искрилознанието замря,
но жарта сметачолюбска не умря.

(...)

7.3.2003 - 13.3.2003

CapsNet - "We can do it" with 3D point clouds - compare to 2012 AGI Digest Letter compilation about Vision as 3D-Reconstruction

 
An article from a few weeks ago: https://syncedreview.com/2020/12/18/we-can-do-it-geoffrey-hinton-and-ubc-ut-google-uvic-team-propose-unsupervised-capsule-architecture-for-3d-point-clouds/

"When Turing Award Honoree Dr. Geoffrey Hinton speaks, the AI community listens. Last week, Hinton tweeted, “Finding the natural parts of an object and their intrinsic coordinate frames without supervision is a crucial step in learning to parse images into part-whole hierarchies. If we start with point clouds, we can do it!“

The comments came with the publication of Canonical Capsules: Unsupervised Capsules in Canonical Pose,"


Compare to:

https://artificial-mind.blogspot.com/2019/07/shape-bias-in-cnn-for-robust-results.html


Read in:  Chairs, Caricatures and Object Recognition as 3D-reconstruction (2012)

---

https://artificial-mind.blogspot.com/2017/12/capsnet-capsules-and-CogAlg-3D-reconstruction.html

The 4-th email from the "General algorithms..." thread:

Todor Arnaudov Fri, Apr 27, 2012 at 1:12 AM
To: agi@listbox.com

I don't know if anyone on this discussion realized, that "Invariance" in vision is actually just a

- 3D-reconstruction of the scene, including light source and the objects

- Also colours/shades and the textures (local/smaller higher resolution models) are available (for discrimination based on this, may be quicker/needed for objects which are otherwise geometrically matched)

[+ 16-7-2013 - conceptual “scene analysis”, “object recognition” involves some relatively arbitrary, or just flexible, selection criteria for the level of generalization for the usage of words to name the “items” in the scene. To Do: devise experiments with ambiguous objects/scenes, sequences. … see “top-down”, … emails 9, 14, 15]

If the normalized 3D-models (preferably to absolute dimensions), lights and recovered original textures/color (taking into account light and reflexion) are available, everything can be compared perfectly and doesn't require anything special, and no "probabilities" or something [anything]. The textures and light most of the time don't even alter the essential information - the 3D-geometric structure.

"2D" is just a crippled 3D

"Invariants" in human fully functional vision are just those 3D-models (or their components, "voxels:) built in a normalized space, the easiest approach for quick comparison is voxels, it might be something mixed with triangles, of course textures and colours also participate.

Every 3D-model has a normalized position per its basis, and also some characteristic division of major planes and position between the major planes, and there are "intuitive" ways to set the basis --> gravity/the ground plane foundations, which is generalized to "bottom", i.e.:

(...)

Voxels and point clouds:

https://3dprinting.stackexchange.com/questions/4556/layman-term-explanation-of-the-difference-between-voxel-and-point-cloud

https://www.survtechsolutions.com/post/what-are-point-clouds

https://en.wikipedia.org/wiki/Voxel

https://en.wikipedia.org/wiki/Point_cloud

Ефектите в "Сън в летен дъжд" - Дивия Пловдив 18. | The Visual Effects in "Dream in a Summer Rain" Tutorial

Видео с обяснение на ефекта от клипа "Сън в летен дъжд" (2019).

* Цел на ефекта: видео с голямо увеличение, заснето с нестабилна камера от ръка, с шумна картина в пороен дъжд, при което се виждат отделните капки. По хитър прост начин автоматично да се заличи нежелано лого на верига магазини (постоянно пресичано от капките дъжд), като ефектът да не изглежда неестествено и се запазят дъждовните капки.

-- Използван в епизода "Сън в летен дъжд" от поредицата "Дивия Пловдив".

Coded: 28.11.2019 - 29.11.2019 in Plovdiv, Bulgaria (и малко промени около 16-17.9)

  
Трябваше да стане по-хитър начин и задоволително добре, не беше нужно да е съвършено, защото беше само един кадър от 3 секунди и не можеше да се занимавам прекалено дълго само с него. В същото време исках да използвам кадъра, защото имах нужда да разнообразя монтажа и защото картината, освен нежеланото лого, беше живописна и интересна.

Програмирах го на "Python" с OpenCV, като OpenCV служи само като видео интерфейс, обработката е "ръчна" - пиксел по пиксел.

Ако не валеше дъжд и камерата беше стабилна, можеше да се нарисува с "GIMP" или Photoshop веднъж и да се размножи в кадрите, но тогава сцената нямаше да е толкова интересно. С постоянно променяща се позиция и капки дъжд, беше непосилно да се нарисува 83 пъти, затова трябваше да се програмира.

...

Бел: Да, маскираното лого можеше да бъде по-светло (като ламарината на магазина), но така пък изглежда като продължение на металния стълб. По-светло - в следваща версия.

https://github.com/Twenkid/Twenkid-FX-Studio/tree/master/Py/MaskRainyShakyLogo

Python, OpenCV PURPOSE: Automatically remove a logo in shaky, rainy, noisy video and preserve the raindrops crossing the logo https://youtu.be/OWI7HQWyZWg

Други учени, изследователски лаборатории, институти, фирми, свързани курсове - AGI 2010, Plovdiv

Въведение, Юрген Шмидхубер, Маркус Хутер и др.

Кибертрон, Бен Гьорцел, Хаотична логика (Chaotic Logic - виж в блога)

Видео към първия в света университетски курс по Всеобщ изкуствен интелект (Универсален изкуствен разум), Пловдив 2010 г.

http://research.twenkid.com

"Човекът и мислещата машина - Анализ на възможността... ", 2001 - изплагиатствана в научен сборник от 2005 г

Докато работех по завършването на една от многото книги, които пиша и съставям напоследък, случайно открих, че голяма част от някаква научна статия в годишник на ВУСИ: от 2005 г. от някой си ас. К.Ф., ( който обаче не е бил студент при тях: )

„ЗА“ ИЛИ „ПРОТИВ“ ИЗКУСТВЕНИЯ ИНТЕЛЕКТ*, ВИСШЕ УЧИЛИЩЕ - КОЛЕЖ ПО ИКОНОМИКА И АДМИНИСТРАЦИЯ - ПЛОВДИВ ВТОРИ ГОДИШНИК, Пловдив, 2005 г.
https://www.vusi.bg/wp-content/uploads/2017/12/48b26_Godi6nik2.pdf

стр. 150

 ..се състои от копирани откъси от моята  многократно по-дълга студия за Универсалния изкуствен разум и свръхчовечността (трансхуманизма):
 

 "Човекът и Мислещата Машина (Анализ на възможността да се създаде Мислеща машина и някои недостатъци на човека и органичната материя пред нея) /Първа статия от поредицата "Мислещата Машина"/" https://www.oocities.org/eimworld/eimworld13/izint_13.html

сп. "Свещеният сметач" бр. 13, декември 2001 г

https://web.archive.org/web/20050226175146/www.geocities.com/eimworld/eimworld13/izint_13.html

Има я архивирана от 2/2005 г.


Свързах се с ВУСИ, от там заявиха, че въпросното лице не е било никога студент или преподавател при тях, и че било отбелязано в годишника, че те не носят отговорност за съдържанието на публикуваните статии.

В статията на К.Ф. е дадена само препратка към името ми, но само за цитат на един единствен ред в кавички (макар че са копирани страници без препратка), с връзка към личния ми сайт, а не към правилната статия, не към сп. "Свещеният сметач", без име на статия, брой и пр. „Въпреки очевидните си недостатъци човешката памет безсрамно е въздигната на пиедестал и е сочена като пример за съвършенство.“6 6 Тодор Арнаудов. Пловдив, 2001; http://www.geocities.com/todprog ...

Плагиатор е някой си К.Ф., доколкото разбирам тогава асистент? после се споменава като докторант, неуточнено къде, според издание на конференция  от 2006 г.

КОЛЕЖ ПО ИКОНОМИКА И АДМИНИСТРАЦИЯ ПЛОВДИВ

НАЦИОНАЛНА НАУЧНА КОНФЕРЕНЦИЯ НА ТЕМА: ПРЕДИЗВИКАТЕЛСТВАТА НА ПАЗАРА ПРЕЗ XXI ВЕК 18 март 2006 г.

https://www.vusi.bg/wp-content/uploads/2017/12/NauchKonfer2006.pdf. 

От кореспонденция с ВУСИ посочи, че той не е бил докторант при тях, тъй като те не преподават в подобна област и нямат акредитация, и че всъщност е бил докторант в ФМИ на ПУ... Било е по време, в което бях студент. Потвърждава се от тук:

http://fmi-plovdiv.org/index.jsp?id=470&ln=1

"2. ФС прие следната тема на докторанта К.М.Ф., задочен докторант към катедра "Компютърна информатика"): "Когнитивно и психо-физическо моделиране в системи за електронно обучение".

3. ФС прие индивидуалния план за работа на ..., задочен докторант към катедра "Компютърна информатика (за периода 01.03.2006 г. - 01.03.2010 г.)."

Благодаря на Георги Манолов от ВУСИ за бързия отговор за изясняването на ситуацията.

"Symbol Grounding" and Searle's-Analytical philosophy's sophystry - Sophystrosophy

 Comment on the question posted in the Real AGI group:   

Adam Ford @ Real AGI: On a scale of 1 to 10, how worried are you about the symbol grounding problem?

In attempts to develop real AGI, can we do without addressing the grounding problem directly (like we didn't understand combustion before we made use of fire), or do we need to address it, and if so why? (...)

https://psychsciencenotes.blogspot.com/2016/02/how-worried-are-you-by-symbol-grounding.html 

> There is currently no solution to the problem of endowing a mental representation symbol system with content/meaning/intentionality that doesn't involve that meaning to have come from somewhere else. If the meaning is not intrinsic to the system's form (Bickhard, 2009, calls this being 'internally related') then the mean has to come from something else, but then how did that thing get its meaning, and so on....it quickly becomes turtles all the way down. This means that mental representations cannot do the things they need to do in order to play the role they need to play in our cognitive economy to make us functional, intentional beings and not philosophical zombies.

"On a scale of 1 to 10, how worried are you about the symbol grounding problem?"