Допълнения към BGGPT не е първият голям езиков модел на български език. Кой е оригиналният проект, присвоен и подменен от INSAIT 20 години по-късно?

Спомен с допълнения:

BAIHUI AI vs BGGPT. КОЙ Е ПЪРВИЯТ ЕЗИКОВ МОДЕЛ НА БЪЛГАРСКИ?

Twenkid Studio - Artificial Mind (todprog)

650 абонати

173 показвания  28.03.2024 г. 

BGGPT не е първият голям езиков модел на български език. Кой и от кога е първият? Кой е оригиналният проект и стратегия, който INSAIT повтарят и изпълняват 20 години по-късно? Свещеният сметач.

Гледайте уроците по работа с BGGPT и други езикови модели и другите клипове за изкуствен интелект в канала (обучение на GPT2 и др.) и вижте проектите "Специалист по всичко", "Арнолдифайър" и др. 

 https://youtu.be/nERQ6iFb6nI

Resources:

https://github.com/twenkid

https://artificial-mind.blogspot.com

https://twenkid.com

Twenkid Studio - Artificial Mind (todprog)

650 абонати

....

Сега: Now:  SIGI-2025, SIGI-2026

Две години и половина по-късно:

The hyperbook "The Prophets of the Thinking Machines" was finally published in 2025 and January 2026 with nearly 5000 pages of defense of the priority.

The lack of any reaction was expected though: the unfair, but powerful will be like that until they own the power.

Свръхкнигата "Пророците на мислещите машини" вече беше публикувана през 2025 г. и началото на 2026 г. (основния том). Липсата на адекватна реакция беше очаквана - както от присвоителите, така и от цялата "общност", която крепи фалшивите новини, от медии, псевдо "визионери", "фенове", "нарцисисти" (които "предвидиха" как творчеките професии първи щели да са застрашени - 10-12 години след като това беше ясно обяснено в блог "Изкуствен Разум" (Artificial Mind) - "Creative Intelligence will be first surpassed and blown-away by the thinking machines, not the low skill ..." и т.н. )

==> Google Search, 12.10.2026:

Query:

Creative Intelligence will be first surpassed and blown-away by the thinking machines, not the

///

https://www.google.com/search?q=Creative+Intelligence+will+be+first+surpassed+and+blown-
away+by+the+thinking+machines%2C+not+the&oq=Creative+Intelligence+will+be+first+surpassed+and+blown-away+by+the+thinking+machines%2C+not+the&gs_lcrp=EgZjaHJvbWUyBggAEEUYOTIGCAEQRRhBMgYIAhBFGEEyBggDEEUYQdIBBzQwNmowajeoAgCwAgA&sourceid=chrome&source=chrome.ob&ie=UTF-8 

///

"AI Overview

... analytical or logical intelligence.

While early predictions assumed that computers would conquer math and logic first while struggle with art, the reality of the AI revolution turned that expectation on its head. Generative AI models rapidly mastered visual arts, creative writing, poetry, and musical composition, often outperforming human speed and adaptability in these creative domains before achieving flawless, error-free logical reasoning or common-sense understanding.

If you are interested, we can explore this topic further. Let me know if you would like to:

Discuss Moravec's Paradox, which explains why hard problems are easy for AI and easy problems are hard.
Look at how AI is currently transforming creative industries like design, film, and literature.
Explore the technical reasons why pattern generation proved easier for machines than absolute logical factuality.

"


The original prediction by Todor Arnaudov, contradicting the wrong and confused estimations of the official experts at the time, appeared as top result:



Creative Intelligence will be First Surpassed and Blown Away by the Thinking Machines, not the 'low-skill' workers"

https://artificial-mind.blogspot.com/2013/10/creative-intelligence-will-be-first.html 

////

Todor: Who predicted this first?

////

Google:

The exact phrase—"Creative Intelligence will be First Surpassed and Blown Away by the Thinking Machines, not the 'low-skill' workers"—was coined and predicted by Todor Arnaudov. [1]

He published this specific thesis on October 2, 2013, on his blog, Artificial Mind. Arnaudov argued that human-level "creative intelligence" is actually easier for digital machines to replicate or surpass through pattern manipulation than the agile physical motion and common-sense spatial reasoning required by everyday blue-collar tasks. [1, 2]

On a broader conceptual level, this observation builds on Moravec's Paradox, formulated by roboticists Hans Moravec, Rodney Brooks, and Marvin Minsky in the 1980s. Moravec famously noted that computers find high-level logical reasoning relatively easy but find low-level sensorimotor skills (like walking through a messy room or picking up an object) incredibly difficult. Arnaudov extended this logic explicitly into the creative domain long before the generative AI boom of the 2020s.

Would you like to explore Todor Arnaudov's wider framework for general intelligence, or dive deeper into the mechanics of Moravec's Paradox?

///

Todor:

1. It was not built on Moravec's Paradox - Moravec was not talking about *creative* intelligence, but about logical manipulations which were already solved (in one way or another) by his time. Wasn't he?

2. Yes, explore Todor's framework.

///


Google:

1. Correcting the Paradox Distinction

You are entirely right, and that is an important correction. Hans Moravec was not discussing "creative" intelligence; his paradox focused strictly on the division between formal, rule-based abstract logic (like chess or calculus) and low-level sensorimotor skills (like navigating a room or recognizing a face). [1]

Because abstract logical manipulation had already been successfully modeled by machines using symbol-processing and expert systems by the 1980s, Moravec pointed out that the things humans consider "hardest" (formal logic) are easy for AI, while what we consider "easiest" (sensorimotor survival) requires massive computation. Conflating his logical paradox with creative intelligence misses the unique leap made in the 2013 prediction.

Todor Arnaudov's 2013 thesis did not rely on Moravec's definition. Instead, he took a contrarian position against contemporary AI experts by explicitly isolating creative intelligence—the generation of art, text, and human-like media—and stating that this domain of pattern manipulation would be conquered by machines long before they mastered the physical, common-sense spatial reasoning needed by everyday workers. [1, 2]

---

2. Todor Arnaudov's Framework: Theory of Universe and Mind (TUM)

Originally drafted between 2001 and 2004 (and later expanding into his academic lectures and AI books), Arnaudov's framework is known as the Theory of Universe and Mind (TUM). It operates as an abstract cognitive "theory of everything" that unifies digital physics, evolution, and general intelligence. [1]

Its foundational principles include:

🧠 Mind as a Hierarchical Predictor

Long before the current "next-token prediction" paradigm of modern Large Language Models (LLMs) swept the mainstream, Arnaudov's childhood "prophecies" (2001–2004) asserted that general intelligence is fundamentally a multi-scale, multi-modality hierarchical prediction-causation system. The core objective of a mind is to predict the future based on the past across varying ranges, precisions, and contexts. [1, 2]

🌌 Causality-Control Units & Virtual Universes

TUM models the mind as a network of Causality-Control Units. These units function as compositional, hierarchical "Universal Simulators of Virtual Universes". [1]

• A thinking agent operates by continuously constructing internal virtual sub-universes (or conceptual context systems) to run simulations.
• These simulations guide motivation, decision-making, reinforcement learning, and imagination. [1, 2]

🎨 Creativity as Algorithmic Imitation

In his May 2003 paper, Creativity is Imitation at the Level of Algorithms, Arnaudov outlined a path toward building an AI (initially named "Emil"). He argued that human-level creative output is not a mystical force, but rather the result of cross-modality merging and pattern compression. By compressing diverse streams of data and predicting across them, a system naturally yields what humans perceive as "creative works". [1, 2, 3]

🔄 Bootstrap Development (Seed AI)

Rather than building hardcoded expert systems, his architecture emphasizes a Seed AI (an embryo of intelligence). The agent must develop incrementally like a child through a self-improving, bootstrapping process—progressively moving from low-level data ingestion to complex, transparent, and explainable abstract reasoning. [1, 2]

Would you like to explore how Arnaudov's early concept of "Creativity as Algorithmic Imitation" maps onto the way modern diffusion models and LLMs operate, or look into his Causality-Control Units model?

(...)

See the continuation of the dialog in a follow-up post

////

Resources:

See e.g. "Power Overrides Intelligence" at SIGI-2025 and AGI List.

Self-Improving General Intelligence 2025: http://github.com/twenkid/sigi-2025

Self-Improving General Intelligence 2026:  http://github.com/twenkid/sigi-2026

За приоритетите в езиковите модели:

Из "Първата стратегия за развитие чрез изкуствен интелект е публикувана от 18-годишен българин и повторена и изпълнена от целия свят 15-20 години по-късно...", Литература и бележки, 236.:

236. Ранни пораждащи големи езикови модели от типа GPT за езици, различни от английския: български, френски, арабски, испански, португалски, немски, китайски; гръцки, сръбски, румънски, японски, китайски, руски – 2020-2021 г.  Датата на някои – по дати на файловете с теглата на модела, дата на научна статия и пр. До края на 2021 г. само китайският, френският, арабският, руският, румънският, японският и българският са с над 100-тина милиона параметъра. Румънският е силен, обучаван на 17 GB-ов корпус. Само българският вероятно е разработен от един-единствен човек с бюджет и подкрепа = 0 и авторът представя родната компютърна лингвистика в тази дисциплина като самозван „хайдутин“, понеже институциите и по-„елитните“ бойци чакаха до 2023-2024 г. [66]. Сравни с аналогичен случай с ДЗБЕ около 2001-2003 г. и бездействието на ИБЕ на БАН и на останалите филолози от университетите спрямо явленията, срещу които ДЗБЕ се противопоставяше и се опитваше да „призове“ „чети“ [16][40], а „маститите“ езиковеди (по определението на Павлин Стойчев, „PC World Bulgaria“, 5.2003 [239]) гледаха безучастно и обясняваха, че това били „естествени процеси“. Сравни с бележките за „Добродетелната дружина и нехранимайковците“ и [40], 2003 г., дали талантите не са имали избор да не учат в „най-престижните университети“ и да развият местните и пр. XLM-R от „Фейсбук“, 11.2019 е по-голям, но в него българският е един от 100 езика, на които е обучаван, и моделът е за класификация и отговаряне на въпроси, а не за пораждане.

Таблици: подредени по време на създаване и по размер:

Допълнена на 18.5.2026 с китайския, руския и испанския голям модел.

 

Ранни големи езикови модели “GPT“за разни езици по време
GPT	117 M	6.2018
GPT2	1.554 B	14.2.2019 (XL) (публик. 11.2019)
Италиански	117 М	4.2020
Португалски	124 M?	5.2020
Гръцки	124 M?	9.2020
Немски	124 M?	11.2020 – 8.2021
Китайски	124 M?	11.2020 – 5.2021
Испански	124 M?	12.2020
Китайски	2.6 B	12.2020
Арабски	1.46 B	3.2021
Руски	760 М	5.2021
Френски	1 B[TT1]	5.2021
Румънски	774 M	7.2021
Сръбски	124 M?	7.2021
Български	355 М	6.2021 – 8.2021, Тош
Японски	336 М	16.8.2021
Японски	1 B	20.1.2022
Испански	774 M	1.4.2022
БАН	124 M	27.6.2023
INSAIT	7.3 B	2.2024

 

Ранни големи езикови модели тип “GPT“, подредени по размер
Китайски	2.6 B	12.2020
Арабски	1.46 B	3.2021
Френски	1 B	5.2021
Руски	760 М	5.2021
Румънски	774 M	7.2021
Български	355 М	6.2021 – 8.2021, Тош
Японски	336 М	16.8.2021
Японски	1 B	20.1.2022
Испански	124 M?	12.2020
Португалски	124 M?	5.2020
Немски	124 M?	11.2020 – 8.2021
Италиански	117 М	4.2020
Китайски	124 M?	11.2020 – 5.2021
Гръцки	124 M?	9.2020
Сръбски	124 M?	7.2021
БАН	124 M	27.6.2023
INSAIT	7.3 B	2.2024
GPT	117 M	6.2018
GPT2	1.554 B	14.2.2019 (XL) (публик. 11.2019)

1. Тодор Арнаудов, GPT2-MEDIUM-BG, Свещеният сметач, ДЗБЕ ~6.2021 – 8.2021,  345М – български – обучен от нулата на Tesla T4 в Colab [31][46]

2. Antoine Simoulin, Benoit Crabbé. Un modèle Transformer Génératif Pré-entrainé pour le ______ français. Traitement Automatique des Langues Naturelles, 6.2021, Lille, France. pp.246-255. ffhal03265900f  https://hal.science/hal-03265900 : – френски GPTfr-124M и GPTfr-1B с архитектурата на GPT3. 5.2021

3. https://huggingface.co/dbddv01/gpt2-french-small - друг френски малък SMALL 137M, също обучен в Colab като българския, но с платена услуга Colab Pro.

4. Wissam Antoun and Fady Baly and Hazem HajjARAGPT2: Pre-Trained Transformer for Arabic Language Generation, 7.3.2021 – https://arxiv.org/pdf/2012.15520

Арабски, 4 варианта: 135M, 370M, 792M, 1.46B   

5.  https://huggingface.co/datificate/gpt2-small-spanish испански: SMALL 124M? 12.2020 (дообучен от английския, използва техники от португалския)

6. https://huggingface.co/pierreguillou/gpt2-small-portuguese/tree/main - португалски, SMALL, 124M?, 5.2020

7. https://github.com/stefan-it/german-gpt2 немски малък: SMALL : 11.2020 - 8.2021 (тората версия - преобучен с по-добри резултати, използващ dbmdz)

8. https://huggingface.co/dbmdz/german-gpt2/tree/main - 8.2021  - 10.2021 SMALL 124M?

9. GePpeTto Carves Italian into a Language Model, Lorenzo De Mattei, Michele Cafagna, Felice Dell'Orletta, Malvina Nissim, Marco Guerini, 29.4.2020  – италиански SMALL 117M

10. Chinese GPT2 SMALL-like models:  https://huggingface.co/uer/gpt2-chinese-cluecorpussmall  SMALL  11.‘20 – 5.‘21  https://huggingface.co/ckiplab/gpt2-base-chinese

11. https://huggingface.co/nikokons/gpt2-greek - гръцки, малък, SMALL, 9.2020

12. https://huggingface.co/macedonizer/sr-gpt2 - сръбски, малък, SMALL, 25.7.2021

13. https://huggingface.co/readerbench/RoGPT2-medium румънски, 124M, 354M, 774M LARGE, 7.2021   https://huggingface.co/readerbench/RoGPT2-large/tree/main Много голям за тогава корпус: 17 GB и обстойни тестове за производителността в статията:

RoGPT2: Romanian GPT2 for Text Generation, M.Niculescu, S.Ruseti, M.Dascalu, 11.2021, University Politehnica of Bucharest, 2021 IEEE 33rd International Conference on Tools with Artificial Intelligence (ICTAI)

https://www.researchgate.net/publication/357227566_RoGPT2_Romanian_GPT2_for_Text_Generation

14. Японски модел от типа на GPT2-MEDIUM с 336 М, 24 слоя, 1024-размерни вектори.  https://huggingface.co/rinna/japanese-gpt2-medium  * https://github.com/rinnakk/japanese-pretrained-models  Японският е много добре обучен (development perplexity, ppl 18, обучен за 45 дни на 8xV100 32 GB върху японската Уикипедия и др.), файл от 16.8.2021 г. https://huggingface.co/rinna/japanese-gpt-1b - 1-милиарден модел, 20.1.2022 г., 24 слоя, 2048-размерен вектор.

15. Unsupervised Cross-lingual Representation Learning at Scale, Alexis Conneau, Kartikay Khandelwal, …, Veselin Stoyanov, 11.2019/4.2020  - XLM-R многоезичен езиков модел, обучаван и върху български корпус. В разработката участва Веселин Стоянов.

[Updates in the edition from 17.5.2026: Chinese, Russian, Spanish]

16. CPM: A Large-scale Generative Chinese Pre-trained Language Model, Zhengyan Zhang, Xu Han, Hao Zhou, Pei Ke, Yuxian Gu, Deming Ye, Yujia Qin, Yusheng Su, Haozhe Ji, Jian Guan, Fanchao Qi, Xiaozhi Wang, Yanan Zheng, Guoyang Zeng, Huanqi Cao, Shengqi Chen, Daixuan Li, Zhenbo Sun, Zhiyuan Liu, Minlie Huang, Wentao Han, Jie Tang, Juanzi Li, Xiaoyan Zhu, Maosong Sun, 1.12.2020, https://arxiv.org/abs/2012.00413

17. Methods for Detoxification of Texts for the Russian Language. Daryna Dementieva‡ , Daniil Moskovskiy‡ , Varvara Logacheva‡ , David Dale‡ , Olga Kozlova† , Nikita Semenov† , and Alexander Panchenko‡ ‡Skolkovo Institute of Science and Technology, Moscow, Russia †Mobile TeleSystems (MTS), Moscow, Russia {daryna.dementieva, daniil.moskovskiy, v.logacheva, d.dale, a.panchenko}@skoltech.ru {oskozlo9,nikita.semenov}@mts.ru,  19.5.2021 https://arxiv.org/pdf/2105.09052 https://github.com/ai-forever/ru-gpts

18. Spanish Language Models, Asier Gutiérrez-Fandiño, Jordi Armengol-Estapé, Marc Pàmies, Joan Llop-Palao, Joaquín Silveira-Ocampo, Casimiro Pio Carrino, Aitor Gonzalez-Agirre, Carme Armentano-Oller, Carlos Rodriguez-Penagos, Marta Villegas; 15.7.2021 – 5.4.2022 (v1 to v5); the GPT models appears in v3 from 1.4.2022

https://arxiv.org/abs/2107.07253v3

* Брой изрично посочени автори: китайски – 25, руски – 7, испански – 10.

* GPT2 е обявен от OpenAI през 2.2019 г., но не е публикуван за използване заради опасения за възможна злоупотреба – пораждане на „фалшиви новини“ и пр. През 8.2019 пускат 774М, а през 11.2019 – двойно по-големият. OpenGPT2, представен през 8.2019 г., е обучен върху корпуса „OpenWebText”; цената за облачни услуги била около 50 хил. долара. https://en.wikipedia.org/wiki/GPT-2

* Размерите са приблизителни и може да са неточни за модели, които не са ползвали точно архитектурата, някои са с различен брой токени (32000) и пр. Влияние оказва не само броят параметри, а още качеството на данните и начинът на обучение и др. На онзи етап и мащаби всички модели са експериментални и с научна и образователна цел.

Корици на някои томове от свръхкнигата "Пророците на мислещите машини":

More then 20 volumes just from the "Prophets..." - find them on the virtual conferences and help The Sacred Computer and the true priority.