Sunday, November 15, 2009

// // Leave a Comment

Solid Optimizer Project (SolidOpt)

Това е проект на колеги от ФМИ на ПУ, Александър Пенев и Васил Василев и както те се изразяват представлява инструментариум за автоматизирано оптимизиране на софтуерни приложения. Тази седмица двамата имаха интересна презентация във ФМИ.

Накратко, системата цели да оптимизира код написан за момента .NET (евентуално на друг език с виртуална машина), като се опитва да го декомпилира в известна степен и след това да го опрости. Например - замяна на променливи с константи, съкращаване на дълги функции, за да могат да се вкарат като "inline" и мн. др.

Проектът звучи много обещаващо, а Сашо и Васил са пълни с идеи. Търсят се и други ентусиасти, които да се включат в разработката.

Read More

Sunday, November 1, 2009

// // Leave a Comment

Operant conditioning, Reward pathway, Reinforcement learning - Beginners directions to Artificial General Intelligence, Part 2

На български - втора част от Въведението в Силния ИИ/Универсалния ИИ.

Условни рефлекси, Оперантно кондициониране, обучение с подкрепление, допамин, пристрастяващо поведение и др. - Насоки за начинаещи в Универсалния изкуствен интелект. Психология, адаптивни системи, философия, икономика. Очаквайте скоро.
...

Part I - References to important researchers in Artificial General Intelligence

Part 2 - Classical conditioning, Operant conditioning, Reward pathway, Reinforcement learning

Introduction

In this article I'll emphasize several important concepts in Psychology, Human and animal behaviour, Adaptive systems and Learning. It has also something to do with Utilitarism in philosophy and economy.

1. Conditioning and Operant conditioning


Conditioning is related to the experiment of I. Pavlov with his famous dog's conditional reflex. Operant conditioning, formulated by Skinner in his Behaviorism goes much further with the inclusion of predictive conditioning that I would say, implies will and goal-driven behaviour. Rats or pigeons learn to press a lever, when they notice that after this action they receive a reward - food or even direct electric stimulation of a pleasure center in the brain.
Reinforcement - in operant conditioning, reinforcement occurs when an event following a response causes an increase in the probability of that response occurring in the future.
(Wikipedia)
I.e. when the rat gets food after pressing the lever, it's more likely to press it again. If it presses it many times, expecting food, but not receiving any, this behaviour is going to be inhibited and forgotten. The rat would adapt. First, it adapts to the case that pressing the lever is getting him reward, then it readapts that this behaviour is not rewarding anymore, and it's better to seek or focus on another one.

2. Reward pathway

Reward pathway is a mechanism in the brain, linked with learning, repetitive and goal-driven behaviours. It has something to do with dopamine neurotransmitter.

Addictive, repetitive and goal-driven behaviours are often related to affection of this mechanism, either by taking drugs or generating dopamine and other "natural drugs" by the brain, when you put yourself in particular behavioural patterns.

3. Love and post-traumatic disorders in terms of conditioning

For example, love is an addiction to an operant conditioned stimulus, that lover finds a source of very big rewards: sex, care, emotional support, fun, responsiveness to any of his needs etc.

Strongly conditioned stimulus are not only wanted, but expected to happen - being reinfoced many times, and giving very big rewards. This is the reason of the tragedy when the other lover lets you down or brakes up suddenly - she is causing a shocking and undesirable change in the expected rewarding pattern.

Post-traumatic stress disorders are also related to conditioning. When somebody suffers a painful experience, especially in young age, the brain may slip into wrong directions of making connections (conditioning) between many stimulus and the bad feelings of the traumatic situation. Every time when the sufferer is in a situation with even tiny similarities, the brain may start making wrong predictions, expecting undesirable outcomes like in the traumatic situation; all these resulting in fear, pain and a behaviour of avoiding such conditions.

4. High Level

At high level these concepts are related to the intelligent systems' principle of predicting future stimuli through extrapolation/projection/simulation of the past stimuli (experiences).

Intelligence is also a mechanism that aims at maximizing the probabilities of desirable/wanted stimuli and minimizing the probabilities of unwanted ones. Concepts of will and goal-driven behaviour take part at this point.

5. Self-control and long term goals vs short term ones

It worths thinking of these concepts also when considering your own behaviour and changing it. For example when thinking of longer term goals, instead of shorter term ones. The shorter term goals may give you immediate rewarding response, thus throwing you to local maximum" of pleasure and preventing you to find a higher local maximum or even the "global maximum". The global maximum could be reached after passing through some "minimums" - unrewarding activities in short term - which a shorter term reward strategy may not accept.


...To be continued...


Read More

Sunday, October 25, 2009

// // Leave a Comment

Сватбата - втори трейлър на комедията





Очаквайте скоро целия филм!

Синопсис: Млад репортер отива да заснеме репортаж от масовата сватба на Сектата на ФМИ. Всичко се преобръща, когато разбира, че присъствайки, той също трябва да бъде оженен. Няма измъкване и не се знае за коя точно ще го оженят. Историята обаче не свършва дотук...

В ролите: Тодор Арнаудов, Костадинка Делева, Никола Вълчанов, Иванка Николова и др.
Сценарист, режисьор, оператор, монтаж, звук, музика - Тодор Арнаудов.

Twenkid Studio:

http://twenkid.com
http://twenkid.blogspot.com


Първи трейлър



Read More

Wednesday, October 21, 2009

// // Leave a Comment

Beginners guide to Artificial General Intelligence (AGI, Strong AI, Universal AI) | Силен изкуствен интелект, универсален изкуствен интелект

I'll just direct you to the people, the rest is reading, reflection and speculating.

Jeff Hawkins - his book "On intelligence" is a must, check out Numenta and what Hierarchical Temporal Memory is.

Ben Goertzel - and his company "Novamente".

Boris Kazachenko


Jurgen Schmidhuber

Marcus Hutter

Hugo de Garis

Singularity Institute

...
Todor Arnaudov - his theory of Mind and Universe. Works from early 2000-s (yet in Bulgarian only) which are going to be continued.

Ако знаете български, може да разгледате и моите спекулации, моята Теория на разума и Вселената. Тя включва и много философия, метафизика за Вселената и разума и връзката между тях. Има нужда да я опиша в по-стройна форма и не е напълно формална, в нея по свой път, както след години открих, съм преоктривал понятия като алгоритмична теория на информацията, структури подобни на това което се смята за работата на кората на мозъка (неокортексен стълб) , цифрова физика/философия и мн. други ключови неща.

Алгоритмичната теория на информацията/алгоритмична вероятност е свързана с разсъжденията в теорията, че в една "Вселена сметач", нещо е по-сложно и по-малко вероятно от друго, по-трудно да съществува, ако за създаването му е необхододима по-сложна (тук не го бях дефинирал добре формално) програма на "машинния език" на който работи Вселената, където се създава това"нещо".

Ако физичните закони са "езикът на частиците", то от тази гледна точка създаването на човешките артефакти е много по-сложно за Вселената ("Вселенският сметач"), отколкото създаването на човека, защото вторите са невъзможни преди да съществуват "програми" (майка, оплодена яйцеклетка, в която има ДНК), които могат да построят от атоми тялото на потенциалния развит разум.

Предстои да работя по теорията и да напиша нови по-стройни и разширени версии.

Засега е тук- http://eim.hit.bg/razum
Read More

Monday, October 19, 2009

// // Leave a Comment

Първият ми сценарий за образователно предаване по телевизията | My first educational TV show broadcasted on a National TV!


It was about 35 minutes long, called "The Megapixels" - about photography, cameras and digital photography. It was broadcasted on BNT, 17:00 on 14.10.2009.
The breakthrough was done!

...

На 14/10 по БНТ беше излъчено предаване по мой сценарий. Брой на "В час ли си" за фотография, "Мегапикселите". Някои дребни детайли са били отрязани, като динамичния обхват, но като цяло мисля че се е получило много изчерпателно и интересно предаване, не само за техническата, но и за художествената страна. Фотографите добре са обяснили какво е най-важно в снимката.

И за първи път няколко мои снимки бяха показани в национален ефир. :P

Предаването го има тук:

"В час ли си", епизод за фотография,"Мегапикселите". Сценарий - Тодор Арнаудов.


...

Работя и по "Сватбата"... Вече започва да се вижда края на много от монтажа и почти всички снимки, но има и много озвучаване...

Тодор Арнаудов в кадър от "Сватбата"
Todor Arnaudov in "The Wedding"


Трейлър на "Сватбата"
Read More

Wednesday, September 23, 2009

// // Leave a Comment

Как работи разумът? Йерархичен самоорганизиращ се предсказател на бъдещето - научно представление | AGI event of mine in Sofia

Todor Arnaudov at Bulgarian Famelab final 2009

Петък 25/9, ТУ София

Зала 2140, блок 2.

18 ч.

В научна шоу-програма ще обясня архитектурата и принципите на работа на разума, органичната им връзка с архитектурата и начина на работа на Вселената и мозъка, и как на тази основа аз и други учени смятаме да създадем мислещи машини.

Или, моята прословута теория за разума http://eim.hit.bg/razum - най-накрая представена на "шоу" пред публика. :) Ще се състои в "Нощта на учените", на "Научно кафе".

Благодаря на Британския съвет и форум "Демокрит" за организацията!


Официално инфо:

http://green.democrit.com/bg/articles.php?cell=117

Продължителност: 30-40-50-60 мин
...

On Friday I will have a presentation about the architecture of intelligence (in brief - hierarchical self-organizing predictor of future senses), how it is related to the architecture of Universe (and neocortex), and how me and colleagues from that field are aiming to build systems possessing general intelligence and learning/evolving capabilities, similar to the way human intelligence develop.

Friday 25/9
Technical University Sofia
Block 2
Room 2140

18 h
Read More

Friday, September 11, 2009

// // Leave a Comment

Изкуствен точен модел на мозъка до 10 години?!

Едни швейцарци се бяха изхвърлили, един приятел ми го беше казал, смеейки се, сега тази история пак е набрала популярност.

Например тук:
http://green.democrit.com/bg/news.php?cell=632

Оригинал:
http://www.sciencedaily.com/releases/2009/09/090904071908.htm

До десетилетие може би ще разполагаме с изкуствен мозък

Какво знаем за мозъка?
Почти нищо, според проф. Маркрам от швейцарския Brain Mind Institute.
Или поне никой не знае какво знаем. И дъпълва: ‘изучаването на човешкия мозък и неговите функции вече повече от 100 години е довело само до натрупването на огромно количество информация, която преди да бъде обединена и анализирана като едно цяло няма да ни позволи да разберем и една стотна от истинската му същност’.

Според професора до десетина години можем да имаме модел, който да е точно копие на човешкия мозък като уточнява, че по-скоро финансовата страна на въпроса би попречила това да се осъществи навреме отколкото технически трудности или проблеми от биологична гледна точка.

(...)

Едно от най-важните предимства на работата с изкуствен мозък ще бъде изследването на причините на редица болести от
синдрома на Алцхаймер, деменция, психиатрични отклонения до
депресивните състояния и проблеми със съня и паметта.

(...)

Въпреки стряскащите цифри, че е изграден от няколко милиарда нервни клетки и трилиарди връзки помежду им, то за учените не е проблем да го възпроизведат в лабораторни условия, защото все пак тези цифри са крайни.

Благодарение на мощни компютри, сметките, които трябва да се извършат при планирането и конструирането на изкуствен мозък не изглеждат невъзможни.

(Демокрит)

Изкуствен разум, който да използва някои принципи и дизайнерски подсказки от мозъка - да, и аз вярвам в това и ще работя в тази посока.

Но точен биологично модел на целия мозък, който да работи точно по същия начин и да се докаже, че е точно така че да може да се ползва за изследване на болестите и пр....

Проблемът е в условието да бъде "копие" на мозъка.

- Как ще докажат, че е?

Мозъкът не е идеална абстрактна машина като компютрите, в нея няма логически елементи, "логическите елементи" в крайна сметка са молекули и химически процеси, протичащи в целите клетки, не е само неврони и синапси.

За да използват такъв модел за точно изследване на човешки мозък, трябва да го симулират на най-ниско физико-химично ниво.

По груби сметки, в 1 л вода имало около 10 на 26-та молекули. Мозъкът е да кажем 1,5 л ...вода. Но не е, белтъчните молекули са много по-сложни за симулация.

Най-бързите суперкомпютри днес вършат едва около 10^15 операции/сек (петафлоп). http://top500.org

Ако продължи да се спазва Законът на Мур, след 10 години може и да бъдат например 1000 пъти по-бързи - 10^18 операции/сек.

Симулацията на една молекула обаче едва ли може да се вмести в една операция... А и да се вмести... На такова ниско ниво, за да е "точно" промените и изчисленията трябва да стават за много кратки симулирани интервали. Една милиардна от секундата е прекалено дълъг интервал, но да кажем толкова.

Така, само за 1 секунда симулация на 10^26 молекули с точност 1 наносекунда, което е прекалено малко, ако всяка се изчислява за една операция (невъзможно, сега едвам сгъват по една белтъчна молекула) - са нужни 10^35 операции.


Ако компютрите някак си продължат да се ускоряват със скорост около два пъти на две години, тази дупка от 10^17 ще се запълни след 60 години.

И то за една груба симулация в наносекунди, и при положение че една молекула се изчислява за 1 изчислителна операция, което е немислимо, защото молекулата е съставена от много блокчета, които трябва да се моделират, една белтъчна молекула може да има хиляди и десетки хиляди атоми.

Освен това, подобна реалистична симулация на мозъка има нужда от реалистичен поток от кръв, който изисква и физически реалистична сърдечно-съдова система, кръв, жлези с вътрешна секреция, рецепторни неврони, очи ...

И как ще се изградят всички тези молекули с точни координати, енергия и пр.?

В живите системи - стъпка по стъпка, в ембриона и след това... А каква изчислителна сложност има симулация на развитието на зародиш на човек само до раждането...

Девет месечна симулация, при точност 1 наносекунда (не знам дали е физически достатъчно точно за да не се "изроди" бебето от изчислителни грешки) ~ 2 * 10^16 цикъла. Тези цикли трябва да се умножат по броя на молекулите в зародиша, да кажем отново 10^35 = 10 ^ 51 операции.

За да се изчисли това за 1 година, трябва компютър с бързина 10^46 операции в секунда.

После още няколко години за да се доразвие биологично мозъка, както знаете в началото той не проежда добре електрически импулси. И още много години, за да може възприятията от средата да развият интелигентността му.

И още дълги години симулационно време, за да се симулира износването на кръвоносните съдове, натрупването на вредни вещества...
Read More

Saturday, September 5, 2009

// // Leave a Comment

Singularity Summit 2009 in New York and Todor's AI Cafe Scientifique in Sofia

Kurzweil and other VIP persons from Artificial Intelligence (they prefer to call it Artificial General Intelligence), Transhumanism and other fields are meeting in NY in a month. Sounds interesting?

http://www.singularitysummit.com/

Suggested reading: Singularity Institute

In the mean time, watch one sketchy pencil test I did recently. ;))





Regarding my return to AI research, it seems that I'm going to talk about the theories of intelligence, what intelligence is and how to make it real on 25/9 in Sofia.

It would be during events called "Night of scientists"/"Cafe Scientifique". http://www.cafescientifique.org/

Read More

Thursday, August 20, 2009

// // Leave a Comment

The NEW ERA has begun! Judgment day has passed...

Tosh is free now

I'm not working as a verification engineer of ASICs anymore (ouchh....).

So let me introduce myself as a pure:

Independent Filmmaker
and
Independent Researcher


(Applause)

Some of my current or near future R&D trends are:


        (One strategical long-term thread started, "by the way")
- Biology, Mollecular biology, Biochemistry, Genomics and stuff.

- Music theory and notation.

- Software music synthesizer. Would be used for the movie "The Gift".

- Computer Vision/Image Processing/Computer Graphcics and a proprietary Editing/Compositing/Animation/CGI Software. I need it for some scenes of the short film "The Gift" and the movies after.

- Research Accelerators.

- Back to my Theory of Universal Simulators of Virtual Universes - Mind as a predictor of the future, using hierarchical models of virtual universes, extracted from the sensory inputs. http://eim.hit.bg/razum (Bulgarian)


Wish me luck...

Read More

Saturday, August 8, 2009

// // Leave a Comment

Communication breakdown - commenting on too popular blogs/publications/videos etc.



Dream by ~toshko on deviantART


Say Youtube, Deviantart or whatever. Once the publication starts to get 20, 30, 40 ... comments, communication is getting more and more pointless.

The author will read any of the comments? Come on. The visitors will read it? Give me a break.

In the best case, they will glance the first page they see, unless they have a special interest.

- Who cares do they read them? You write a comment, because you have a position you want to ... ooops.. share...

To yourself only? Why would you publish it then - you know your comment just by thinking of it, you don't need to type it if it's just for you.

Comments are intended to communicate, but actually the more comments written, the more you would be wasting your time, commenting, too.

Status and Fame

If you're not famous, you would greet every single comment or favourite you get, because it's "precious" for you, your peers show respect to your works.

While, say if you're a famous artist in Deviantart, you don't care that you've got 50 or 55 or 100 comments or faves per deviation, your respect to the others diminishes, they turn to your "fans", you turn to a "superior one"... Besides, you cannot physically "respect" them all, as they're getting more and more.

Writing comments on too popular publications is a waste of time.


Cyclic "Self-feeding" Popularity


This happens on sites which promote the most popular items .
They are always shown and people click on them - that's easier for the user.
So they get more and more visits.

What you see is what you Choose


Science break

Actually, long lists of comments is useful for natural language processing purposes and automatic analysis of text. :)

Writing comments on popular publications is good for science!





Led Zeppelin, Communication Breakdown



Read More

Sunday, August 2, 2009

// // Leave a Comment

Филмът "Петранка" - излъчен по местна телевизия, и Рейтинг | "Petranka" short aired on a local TV and Rating information


Повече инфо за Петранка и гледаемостта й - на Twenkid.blogspot.com

Не знам доколко може да се вярва на рейтинговите измервания, но според тях, някои най-гледани предавания са стигали до 1,6 - 2 милиона зрители, но не всеки месец (финали на риалити шоута, мачове на националния отбор по футбол). Някои месеци - само до около 1 милион зрители.

- Предаванията в топ 50 за седмицата (вкл. филми) са до 400-600 хиляди зрители.
- Българският сериал "Забранена любов" е измерен с между 500-600 хиляди зрители.
- Първите 3 телевизии по рейтинг са БТВ, Нова и БНТ1 - както може да се предполага.

За 2008 г.

1. БТВ: 36.7 %
2. Нова: 17.1 %
3. БНТ1: 13.6 %
4. Диема Фемили 3.2 %
5. Диема 2.2 %
...
8. Планета ТВ 1.6%
9. СКАТ

100 % по статистиката ~ 3 000 000 души.
1% = 30000 зрители.

Методологията на тези рейтинги обаче е доста груба - 4+ години...

Зрителите без избор гледат това, което им покажат

Освен това има едно явление - гледаш даден канал, защото нямаш избор.
Възрастни, бедни хора, нямат кабелна телевизия, нямат и желание или средства да правят нещо по-добро от това да стоят пред телевизора, могат да избират само от няколко национални канала, и вероятно няколко местни.

Затова вероятно голям дял от зрителите на националните телевизии е възрастни и бедни хора, голяма част от рекламите не могат да имат ефект върху тях и част по-високата цена за реклама може би не е оправдана. (Освен ако тези хора не са изключени от бройката, и тя затова е само 3 милиона? Не знам, но се съмнявам.)


Даннните за рейтингите са от сайта TELEmaniac.
Анализът - мой.

Read More