Hello! I'm Todor, a.k.a. Tosh and Twenkid - an Artificial General Intelligence prodigy and visionary (...) and a Universal man. See more in About and below. Welcome to "Artificial Mind"!

Sunday, September 4, 2022

// // Leave a Comment

PhD system and duration: 5 years with 3 years planning - isn't it too long and risking obsolescence on the go? What about contributing to many projects and not just one "personal" thesis?

This is a continuation of the 2008 article:

A Start-up or a PhD? - that is the question


The question-essay was asked to the comments section of a Q&A session video for clarification of the PhD program of  the new AI institute "INSAIT". https://www.youtube.com/watch?v=ES665imrFnI

IMO the questions are reasonable.
No answer, even a word, though, and the comments got closed a few days later. :)))
No comment!!!... :)))

Is it possible to plan your research for 3 years in a PhD program and what if your plan gets obsolete which is highly likely in the current speed of innovation and competition? Aren't 5 years too long and isn't working "on one problem" for 3 or 5 years, the PhD standard, an artificial limitation for students' development?

 Three years or 5 years with the exploration phase may be common term for a PhD, and working on "one-problem" (whatever "one" means as the topics, problems and fields overlap), however I wonder isn't that too long given the lightning speed of innovation and the speed of "repainting" the AI landscape, especially regarding the "planning" aspect, which is one of the requirements (for any PhD program)? On a broader ground, I remember an interview with the physicist Freeman Dyson (indeed he mentions, that he lacked a Phd...), on Youtube: "Why I don't like the PhD system", 1:38. https://www.youtube.com/watch?v=DzC1IRYN_Ps

He "didn't like" the 3-year PhDs term in Cornell, because for him it was working for too long on one project (with the students) and it was too limiting for the students as well. He said he rather preferred one-year term, thus working on three projects for these 3 years. Prof. Vechev mentioned, that the nature of the institute encourages collaborating on others' project and it provides a rich environment for self-arranging lots of seminars and meetings between all the researchers, which allows enormous interdisciplinary learning rate. However, it doesn't solve the following automatically:

What if the plan of the student and his supervisor gets obsolete on the go? I guess it's a well known phenomenon that if an idea in CS and application programming (or maybe any domain) is not developed to some form of "completion" - developed, published, implemented - in a timely manner (with unknown term, depending on the other researchers and companies around the world), somebody else will do.

Others probably had the same ideas or plans even before, or they would have them soon. Similar with anything in R&D, as one aspect of general intelligence is its convergence: it's a systematic exploration of the affordances: if something is thinkable and doable, sooner or later it will be done. There is no central organ to distribute "the ownership" of the ideas and projects, so I guess you have experienced such overlaps and competition in your research. We see similar "state-of-the-art" being produced from different sources in about the same time, as all have similar background and goals and interact with each other.

How do you solve that, is it/has it been a problem? You talked about the normal topic-shift while initially searching for the best direction for a student, however that's the beginning; then there is a 3 year period with planned work, where a sudden topic-problem-goal-"obsolence" could crash any rigid structure and expectations. 

E.g. the plan of the student Ivan is to solve, say the automatic solution of programming contest problems, which prof. Vechev mentioned in a podcast.

He will apply some Neural-Turing machines, combined with techniques of DeepCode etc. However DeepMind or some new "Perelman" happened to solve it 1 or 2 years before the end of that dead-line with a similar method, or with another or a more advanced one etc. and with a higher precision.

One reasonable path is probably to extend/rework the project to build upon the other project(s) etc., if it's doable. 

Or I assume that these "plans" are actually flexible, because I don't think there could be a reasonable many-years-long plan for true R&D, with fast learning rate and where real breakthroughs could happen, either from the researcher-himself or from the whole world.

If you can plan the content and the results for 3 years ahead with a high level of confidence and detail, I think it sounds like you already knew the results, i.e. it's less of an exploration "in the unknown" and more an implementation, i.e. engineering; and even in the latter more predictable domain, in CS it's usually hard to make precise predictions for the required time to develop the solution, especially when implementing something for the first time, there's a lot of both "known unknowns" and "unknown unknowns". Etc.

Thanks for the QA session and good luck!

Read More

Sunday, August 21, 2022

// // Leave a Comment

DFL-SAEHDBW - The Grayscale deepfake model now Renders Back in Color - Colorization and Color Stabilization with Pix2Pix model etc.

I had the colorization in mind before I started the refactoring of Deepfacelab to include grayscale models, and lately I added this functionality, for now as a POC, to be published later. The colorization is done with a Pix2Pix model (based on the example on Colab with the facades, maps etc.), trained on the faceset of the color video - grayscale faces converted to color. There is a step of color stabilization, which was required for more pleasant output, because without that there was slight, but noticeable flickering. The experiments for now were only on a single video/segment (about 1000 frames training of the pix2pix model) and without pretraining on other/various faces - that is something to be done in the future.

I am still pushing the limit of a GF 750 Ti 2 GB - so now it can produce 192x192 color lip-synced deepfakes with reasonable quality. The SAEHDBW DF-UDT model is about 345 MB initially (a bit more when trained), the Pix2Pix model is about 131 MB.

Note that the pix2pix model did fit in GPU only 128x128, but a sharpening at the end of the pipeline improves the image even more than the original grayscale one. Training at 256x256 on the CPU is a possible option, too, because the pix2pix model seems to be fast and also possibly the applied color stabilization can repair some fluctuations, i.e. possibly it can be not perfectly trained and still capable to produce decent results - that is to be verified with other videos. I haven't tried to colorize the Arnold's model yet.

The glasses of Stoltenberg are in most cases reasonably depicted, except a few little glitches from the grayscale model.



After investigation of the properties of the colorized faces, debugging of the merging, there was a successful application of an idea for stabilization of the colorized output and merging with precomputed faces (for other usages as well, e.g. prerendered 3D-models or synchronously performing faces etc.). In the video example below the output is also sharpened after merging (whole frame) - it needs to be per face only etc. or to have some antialiasing eventually.

See a merged and sharpened segment with Jens, whole frame: http://twenkid.com/v/32-stolten-color-20-8-20220.645217694677918.mp4

Only aligned faces:

The raw colorized face with pix2pix model without color stabilization was flickering; it was very bad, but still noticeable, especially in some moments. 

After color-gamma stabilization, that artifact was gone (only the aligned face, 146 KB): 

The color-gamma stabilization is done by first probe-rendering all faces, computing their total pixel weight per frame and the average of all frames, then adjusting the gamma for each frame according to the average in order to flatten the fluctuations: if the face is too dark - it gets lighter and vice versa. Indeed, this phenomenon itself is to show some intrinsic properties of the pix2pix model.

Finally there is sharpening and merging is performed using these corrected faces.


* The neural model didn't capture the blue tint of the model's eyes, but it had a little excuse - the color of the eyes in the video varies and even there are frames where the ground truth eyes are different colors: one is very gray-blueish-purple and the other one - brown.

Read More

Sunday, August 7, 2022

// // Leave a Comment

Advanced deepfake fun - faces, TTS voice cloning, lip-syncing and upscale/face repair with deepfake finetuning: Arnold Answers Stoltenberg's Proposal for Bulgaria ...

Advanced deepfake fun: "Arnold answers NATO's Stoltenberg's proposals for Bulgaria", Part IV from the Deepfake series "Arnold Schwarenegger: The Governor of Bulgaria", demonstrating the custom DF library DFL-SAEHDBW for grayscale etc.

  • DFL-SAEHDBW - K.P. etc. to Arnold models
  • Select video, edit "stunt-double" sequences 
  • Original Script, Directing and humor,
  • RealTimeVoiceCloning, actors TTS
  • Wav2Lip lipsync; a modification for higher quality output (images per frame, not DIVX video)
  • Finetune DFL-SAEHDBW for repair and upscaling of the Wav2Lip output (it's original output is low quality with glitches and 96x96, the DFL models are 192x192 and high quality)
  • Merge improved lip-synced sequences
  • Recording an Easter egg cover song according to the script (LOL)
  • Editing, mixing
  • Release

  • Enjoy

  • To be Continued...

    #arnold #deepfake #machinelearning #parody #satire #nato #caricature

    Read More

    Friday, July 15, 2022

    // // Leave a Comment

    Deepfacelab-SAEHDBW deepfake demo film - Arnold meets his "illegal daughter" Lena Borislavova Schwarzenegger

     Another demo of the capabilities of my new modification of DFL2.0 - this is trained just on a Geforce 750 Ti. See the previous post and github: https://github.com/Twenkid/DeepFaceLab-SAEHDBW

    The film is now rendered in 1920x1080 after a short 20-some K iterations finetuning.


    Read More

    Sunday, June 26, 2022

    // // Leave a Comment

    Arnold Schwarzenegger: The Governor of Bulgaria - a deepfake masterpiece by Twenkid Studio and the custom library Deepfacelab-SAEHDBW

    Regarding the modification of the library to work with grayscale images instead of color ones, that I did in order to create the film with theoretically 3 times higher performance and/or details with the same hardware - see info in future posts.


     Встъпително обръщение на Арнолд Шварценегер - Губернаторът на България в интервюта в Народното събрание, пресконференции в министерския съвет и БТА, Би Ти Ви, Дневник и др. Какви са целите на Терминатора на България? Кого иска да представлява? Какви са идеалите на Партията и пр. Арнолд е избран от народа, за да донесе политическа стабилност в най-стария щат на Балканите и да приведе Зелената сделка в действие - така както го направи в родния си щат Калифорния по време на двата му предишни мандата.
    Автор: Тодор Арнаудов - Тош/Twenkid

    Следва продължение


     The inspiring inauguration Speech of the new Governor of Bulgaria: Arnold Schwarzenegger from his interviews in the Parliament, the council of ministers, for bTV, Press conferences in BTA, Dnevnik etc. What are his goals, who he wants to represent, what are the ideals of his party etc. Created by Todor Arnaudov - "Twenkid". Arnold will be back! Idea, production design, story and script, programming, dataset collection, training, retouch, editing, music directing, timing, sync etc.: Todor 

     Deepfake software developers:

    1) DeepFaceLab 2.0 by iperov et al. 2) DeepFaceLab-SAEHDBW by twenkid - the grayscale model and mode for the movie, allowing me to train a 3 times bigger model on the same GPU. 

     Music Credits: US Anthem, International, 16bit2DAW (T2 cover) * Arnold Schwarzenegger election victory speechhttps://www.youtube.com/watch?v=FES7Q... 

    * New Way California Summit--Arnold Schwarzenegger Speech on the Future of the Republican Party, May 31, 2018https://www.youtube.com/watch?v=unduk...

      * “Terminator 2” main theme cover by 16bit2DAW



    Source videos: bTV, Dnevnik etc. TV Host: Tsvetanka Rizova

     Lady in the beginning: Lena Borislavova 

    Extras: Boyko Rashkov, Assen Vassilev etc. 

    Arnold's stunt double: Kiril Petkov 

    Photos: Various, Press, Traffic, Новините на югозапада, неизвестни 

    Музика: Химн на САЩ, Интернационала, кавър на темата на "Терминатор 2" от 16bit2DAW

     В главната роля: Арнолд Шварценегер 

    ТВ водеща: Цветанка Ризова 

    Секретарка: Лена Бориславова 

    Статисти: Бойко Рашков, Асен Василев и др. 

    Дубльор на Арнолд: Кирил Петков 

     Програмисти: iperov и др., и twenkid (Тодор)


     #Arnold #Bulgaria #deepfake #дийпфейк

    Read More

    Friday, April 8, 2022

    // // Leave a Comment

    INSAIT - откриване на института по Изкуствен интелект в София - време е за книгата "История, теория и пионери на Общия изкуствен интелект и трансхуманизма"

    Read More

    Saturday, April 2, 2022

    // // Leave a Comment

    ЗАБЛУЖДАВАЩИТЕ ПОНЯТИЯ И РАЗБОР НА ИСТИНСКИЯ ИМ СМИСЪЛ: Трансхуманизъм, Цивилизация, Демокрация, Хуманен, Хуманизъм, ... - книга

    Тези дни редактирам второ издание на:



    Трансхуманизъм, Цивилизация, Демокрация,

    Хуманизъм, Дехуманизация, Социална

    дистанция, Политическа коректност, Фалшиви

    Евроинтеграция, Глобализация,

    вропейски ценности, Либерализъм и други



    Редакците са стилови на отделни места, корекции, доизяснявания, малки добавки и др.

    Read More

    Thursday, March 31, 2022

    // // Leave a Comment

    Бягство от прекрасния видео свят - част I


    Опасното въздействието на телевизията върху мозъка и ума, особено на децата. "Като бях малък, възрастните ни плашеха, че сме щели да си развалим очите от гледане на телевизия. Бях се стреснал, но не можех да спра да гледам, затова се опитвах поне да намаля вредата, като мигах и си задържах клепачите затворени за по-дълго време. Скоро обаче пак се взирах нормално, защото май нещо ни будалкаха..." Абонирайте се за канала и за следващите части! #психология #телевизия #видео #медии #невропсихология Алфа-вълни, хипнотизиране, полтъргайст, Кики, Мълдър, Скъли, ... Автор: Тодор Арнаудов - Тош, Twenkid Studio 2022. Статията от същия автор във в-к "Пловдивски университет", 2018. Други кадри: Кашпировски, Алф, Бинг - Досиетата Х, ТВ водещи, Уикипедия ЕЕГ, кадри на ЕЕГ (...),лекции на автора по Универсален изкуствен разум,блог "Artificial MInd", книга "Телевизията и детето", Би Ти Ви, BTV, Предавател, каналът "todprog" в Youtube; Youtube (...) Увлекателна научнопопулярна статия за ... въздействието на телевизията и видеото (мултимедията) ... Втора част: https://youtu.be/cbwIeFeWgiU Вижте статията като файл от блога Twenkid Studio. http://twenkid.blogspot.com/2018/05/brave-new-video-world.html

    Read More

    Tuesday, February 8, 2022

    // // Leave a Comment

    Drone Rider - game/simulator POC at Plovdiv Game Jam 2022

    Drone Rider - a drone interface & simulator game @ Plovdiv Game Jam 2022 hackathon. Developed in Rust with Bevy engine by Lachezar and Todor. Features also Gazebo simulator, running with docker-compose (Docker Desktop on Windows), MAVSDK for communication with the drone. The POC was tested both on Linux and Windows. More and the project:

    Read More

    Sunday, January 9, 2022

    // // Leave a Comment

    "Трансхуманизмът ..." на Спирдонов - 20 години след "Свещеният сметач" и дори не споменава бащата на съвременния български трансхуманизъм, космизъм и общ изкуствен интелект


    Напоследък чета новата книгата на Иван Спирдонов и се възмущавам от втората книга-реферат,  излязла в последните 2 години,  закъсняла с 20 години, с претенции, че разглежда тези "почти непознати в България" теми "за първи път" у нас. Водех кореспонденция с ИС през 2019 г. относно книгата му "Сатанизъм: Unlimited", за да оборвам глупостите му, бидейки дефакто "баща" на съвременния "трансхуманизъм" в България, както с публикувани пред читатели творби - "Къде отиваш свят", есе, 1999, студията"Човекът и Мислещата машина, или Анализ на възможността да се създаде мислеща машина и някои недостатъци на човека и органичната материя пред него", Свещеният сметач, 2001 г. и мн. др. - така и по-отдавна, осъзнал се като "машинолюбец"/почитател на мислещите машини още през 1992 г., на 7 години - факт, за който съм споменавал в интервюто за "Обекти" през 2009 и в многозаглавното епично произведение "Писма между 18-годишния Тодор Арнадуов и 43-годишния философ Ангел Грънчаров" от 2002 г.(...*)

    В сблъсъка с ИС през 2019 имах "дажевю" от 17 години, но Грънчаров беше по-съдържателен в опитите си и все пак беше във взаимодействие, докато С. не можеше да отговори с нищо на опроверженията и обясненията, освен с вече написаните подбрани клевети за "най-злите трансхуманисти", "богато финансирани от злите сили" (питах го къде са моите пари - не ми отговори), пратеници на Сатаната, които искали да превърнат хората в карти памет и  хибриди между хора и прасета.***

    Според новата книга на ИС, "В България, през 2017 г., видите ли, бил създаден отдел на сингуларния институт(!)" и много учени били писали книги за ИИ, вкл. в България, М.Т. през 2020 г. (!) 

    ИС няма формални извинения, че не знае за мен, че като е търсил в Уикипедия и Гугъл не ме е открил, защото съм твърде апокрифен, понеже през 2019, когато коментирах скандалните клевети срещу трансхуманизма и трансхуманистите, изказани в "Сатанизъм: Unlimited", споменах че има публикувани творби от 2001-2004 и пратих и връзки към  някои публикации от блога Artificial Mind/"Изкуствен разум", писмото ми по етични въпроси до Оксфордския институт за бъдещето на човечеството от 2012 г. и пр. - останалото е на няколко клика разстояние.

    През 2020 г. му пратих и книгата ми "Заблуждаващите понятия и разбор на истинския им смисъл: Трансхуманизъм, ...", която беше публикувана в Интернет, сп. Свещеният сметач бр. 33. http://eim.twenkid.com/ - в три формата, pdf, epub, html.

    В тази книга има изрични препратки с връзки към въпросните класически произведения от "Свещеният сметач".

    Мога да го извиня, ако го е направил, за да не ме свърже с "дяволите", но по начало това се опитвах да обясня, че не всички са от "пандемониума" или поне нямат такива намерения.

    Все пак, в новата си книга ИС изглежда е чул някой от забележките ми, сигурно е прочел и частта от книгата ми, и се е съгласил, че не всички трансхуманисти са дяволи от "пандемониума", и че решенията се взимат от политиците (в главата за Обри де Грей и технологиите за пренебрежимо стареене), но това че се е направил, че не знае нищо за мен и за моите текстове според мен е  преднамерена недобросъвестност, защото е посочил организации, които са били само в Интернет, цитира публикации само от Интернет или нямат "официална регистрация" и т.н.  Естествено, че трансхуманисти, авангардисти и т.н., кибернетици, мечтаещи за виртуални светове и пр. ще използват информационни технологии и ще публикуват в Интернет, "киберпространството". Преди 20 години децата ползвахме Интернет, но "сериозните" публикации на чичовците още се очаква да са на хартия.

    "Свещеният сметач", дружество "Разум", създадени от мен в началото на 2000-те бяха в челото на новите движения на надтелесността, свръхчовечността, космизма, трансхуманизма, общия изкуствен интелект, с оригинални работи, и научно-философски, и художествени, и публицисиични,  на български език, заедно с учени и философи много по-стари от мен най-вече от САЩ.  (...)

    Интервюто ми от 2009 г. за "Обекти" беше заявление за създаване на компания, подобна на "DeepMind" (тя е създадена година по-късно), но за разлика от Хасабис и Ко, нямах капитал и партньори. 

    Сборникът, който от 2020 насам се чудя как точно да издам, е покана към спонсори, инвеститори, съдружници и приятели за осъществяване на проекта ми от 2003 г. за развитие на общия ИИ и въобще авангардните изследвания, чрез създаване на интердисциплинарен научно-изследователско-творчески институт.

    Моят по-подробен отговор и анализ на книгите на двамата закъснели с 20 години новатори ще бъде в книгата и в следващите части на поредицата. Някои от началните страници в текущата чернова:

    Следва: публикация по темата и от най-старата фейсбук група по Общ изкуствен интелект, която създадох за първия в света курс по "Универсален изкуствен разум" (Artificial General Intelligence) през 2010 г., където една от встъпителните лекции разбира се разглеждаше и трансхуманизма, сингулярността, футурологията и т.н. Записах тази лекция като видео през 2021 г:, в нея също посочвам изпреварването напр. на MIT в първия курс по Общ ИИ (2010 г. срещу 2018 г.)

    "Какво е Универсален изкуствен разум?" - лекция от курсовете през 2010 и 2011 г. в ПУ

     ФБ: https://www.facebook.com/groups/115986208422069

    "Текущата версия на корицата на книгата, която можеше да публикувам и през 2020 г., но продължавах да правя малки корекции и след това, и малки - последните дни. Възмутителни и забавни са две книги на двама "новатори", М.Т. от философския факултет на БАН, която за произведението си, публикувано през 2020 г. е получила доцентска титла, и И.С с книгата му "Трансхуманизмът...", 2021. Двамата се появяват около 20 години след мен и пишат, единият за ИИ [и трансхуманизма], другият за трансхуманизма [и ИИ], а дори не са ме споменали, при все че дори само студията ми от сп. "Свещеният сметач", брой 13, края на 2001 г.: "Човекът и мислещата машина: Анализ на възможността да се създаде мислеща машина и някои недостатъци на човека и органичната материя пред нея" е повече от очевиден български "трансхуманистки" манифест, освен и на Общия изкуствен интелект. По онова време за такива неща са писали само хора като Бостром, Бен Гьорцел, Юдковски, [Кърцуейл], само дето всички са доста по-стари от мен, бях на 17 и май не ги бях и чувал или не съм ги запомнил, ако съм попадал. Един от признаците за оригинална мисъл е и че тогава не знаех и не използвах термина "трансхуманизъм" (и до днес не го харесвам). Научих го чак през 2004 г. от човек, който се определяше като "трансхуманист". (Може и да съм го срещал по-рано, но да не съм го бил запомнил.) Нямаше никаква друга подобна работа, и даже през 2004 г. в каре добавих, че това изглежда е първата статия за Изкуствен интелект, която може да се открие в Интернет. Повече по този въпрос - в бъдеще.
    И един въпрос: бихте ли платили за сборника по-долу (ще има представяния, публикувано съдържание и пр.), бихте ли направили дарение и пр. Не знам как да го публикувам. Във вида в който е, е огромен, около 1030 стр. А4.?" Коментар: Т.М.:

    • Мисля, че плащането не е проблем. По-скоро ще е трудно сборникът да стигне до правилната аудутория и тя да бъде убедена, че е полезно да го има/прочете.



    • (...) 1000 стр на хартия е огромно, ако въобще има книжно издание сигурно ще трябва да се раздели на томове. Един вариант е да бъде с дарение, плащането е подкрепа за проекта, който иска може да плати (дари) и 1000 лв, също техника или др. Едно от основните послания на книгата е покана към спонсори, съдружници и пр., после ще сложа и него на картинка.

    *  "Писма между 18-годшиния...", "Следващото еволюционно стъпало 2", "Сметачолюбецът срещу Човеколюбецът" и др.  - открийте от дружество Разум, http://eim.twenkid.com 

    Беше сблъсък между свръхчовечник/сметачлюбец и някой, претендиращ, че е "хуманист", "човеколюбец" и намекващ, че противникът му свръхчовечник е "човекомразец", който иска да лиши човечеството от благата му. А.Г. се беше самоназначил за говорител и представител на "човечество" (подобно и на този автор, както и на всякаквите глобални говорители и организации); АГ опитваше да манипулира позицията ми и изказванията и да ми вкарва намерения и послания, каквито нямаше във философията, убежденията, логиката, мисленето ми - нито се смятах за представител на "човечеството" (такова  обобщено понятие е мъгливо и объркано, хората не са хомогенни и нямат общи цели, нито е възможно всички да са доволни едновременно; виж препратка по-долу към книгата за Заблуждаващите понятия);  говорех от собствено име, не се смятах и за политик. 

    ** И.С. има един повод да ми се сърди за една грешка: в цит. кн. от 2020 съм го посочил като СпирИдонов, объркал съм му фамилията... 

    *** Всъщност в насчалото на 2021 г. споменаха за присадено сърце от генномодифицирано прасе...

    * Публикация в групата Трансхуманизъм, Футурология и Наука

    Поверителна група


    Read More

    Thursday, December 30, 2021

    // // Leave a Comment

    Българската безплатна програма за видеообработка и ефекти - Twenkid FX Studio Alpha 0.1 първо издание

    Видеото е с български звук. Най-общо въведение и представяне на програмата Twenkid FX Studio Alpha 0.1 - издание от декември 2021 г. Twenkid Studio е може би единственият ютюб канал, който си има собствена програма за монтаж и визуални ефекти. Тя е може би най-компактната система с подобни възможности - инсталационният файл е само 300 КБ, ръководството е 2 МБ заради многото снимки. Следват продължения с подробно ръководство за употреба, уроци и пр. Засега: инфо, ръководство (на английски) и изтегляне на програмата: http://twenkid.com/fx https://github.com/Twenkid/Twenkid-FX-Studio/ Ако харесвате канала, подкрепете го като се абонирате, споделяте, коментирате, харесвате!

    Read More