BgGPT is the mightiest new Bulgarian LLM model, but technically not the first

https://therecursive.com/bggpt-the-first-bulgarian-language-model-is-launched/

https://bggpt.ai

The info is 7B params, trained on 3B sentences.

• "The first Bulgarian large language model, BgGPT, was announced today by INSAIT. It was created specifically for the Bulgarian state, users, public and private organizations."

This is impressive and well done, however it is not the first LLM for Bulgarian.

The first known to me is the experimental training GPT2-Medium model (331M) trained in the summer of 2021 by me/The Sacred Computer: 

https://github.com/Twenkid/GPT2-Bulgarian-Training-Tips-and-Tools/

GPT2-Medium Training from Scratch on Colab for Any Language - Tips & Tricks by Twenkid

https://youtu.be/F-Xt-cK4L-g

It was just an experiment on a small dataset (about 140 MB UTF8) and the trained model wasn't published because of part of the dataset and that it seemed to start memorizing too much (needed more data) and the training setting wasn't good (Colab/Tesla T4 and training each iteration on on subsets of the dataset due to this setting). I will probably publish it anyway.

Some guy asked for the weights, but there wasn't more interest about it what so ever. I see a few models from 2022-2023 in hugging face.

On the joke side, there's also RhodopeGPT (a Mountain in Bulgaria, Greece and Turkey):

https://github.com/Twenkid/rhodope-gpt

(An experiment with simplest transformer based on Karpathy's example with a GPT2 tokenizer and save-load)

This is a serious project, but lacking partners:
https://github.com/Twenkid/Vsy-Jack-Of-All-Trades-AGI-Bulgarian-Internet-Archive-And-Search-Engine 

* They mention that the research has started back in 2020: "BgGPT’s initial project research began in 2020 under the leadership of Prof. Martin Vechev, Professor of Computer Science at ETH Zurich. He is also a founder and architect of INSAIT. The aim for 2024 is to continue the development of an AI computing center, attracting international partners"

Update: https://huggingface.co/usmiva/gpt-web-bg (2023) and several others (2022 or so). From Linkedin: about 50B tokens, they say they've omitted that number because it was "too techy".

Read More

"Човекът и мислещата машина - Анализ на възможността... ", 2001 - изплагиатствана в научен сборник от 2005 г

Докато работех по завършването на една от многото книги, които пиша и съставям напоследък, случайно открих, че голяма част от някаква научна статия в годишник на ВУСИ: от 2005 г. от някой си ас. К.Ф., ( който обаче не е бил студент при тях: )

„ЗА“ ИЛИ „ПРОТИВ“ ИЗКУСТВЕНИЯ ИНТЕЛЕКТ*, ВИСШЕ УЧИЛИЩЕ - КОЛЕЖ ПО ИКОНОМИКА И АДМИНИСТРАЦИЯ - ПЛОВДИВ ВТОРИ ГОДИШНИК, Пловдив, 2005 г.
https://www.vusi.bg/wp-content/uploads/2017/12/48b26_Godi6nik2.pdf

стр. 150

 ..се състои от копирани откъси от моята  многократно по-дълга студия за Универсалния изкуствен разум и свръхчовечността (трансхуманизма):
 

 "Човекът и Мислещата Машина (Анализ на възможността да се създаде Мислеща машина и някои недостатъци на човека и органичната материя пред нея) /Първа статия от поредицата "Мислещата Машина"/" https://www.oocities.org/eimworld/eimworld13/izint_13.html

сп. "Свещеният сметач" бр. 13, декември 2001 г

https://web.archive.org/web/20050226175146/www.geocities.com/eimworld/eimworld13/izint_13.html

Има я архивирана от 2/2005 г.


Свързах се с ВУСИ, от там заявиха, че въпросното лице не е било никога студент или преподавател при тях, и че било отбелязано в годишника, че те не носят отговорност за съдържанието на публикуваните статии.

В статията на К.Ф. е дадена само препратка към името ми, но само за цитат на един единствен ред в кавички (макар че са копирани страници без препратка), с връзка към личния ми сайт, а не към правилната статия, не към сп. "Свещеният сметач", без име на статия, брой и пр. „Въпреки очевидните си недостатъци човешката памет безсрамно е въздигната на пиедестал и е сочена като пример за съвършенство.“6 6 Тодор Арнаудов. Пловдив, 2001; http://www.geocities.com/todprog ...

Плагиатор е някой си К.Ф., доколкото разбирам тогава асистент? после се споменава като докторант, неуточнено къде, според издание на конференция  от 2006 г.

КОЛЕЖ ПО ИКОНОМИКА И АДМИНИСТРАЦИЯ ПЛОВДИВ

НАЦИОНАЛНА НАУЧНА КОНФЕРЕНЦИЯ НА ТЕМА: ПРЕДИЗВИКАТЕЛСТВАТА НА ПАЗАРА ПРЕЗ XXI ВЕК 18 март 2006 г.

https://www.vusi.bg/wp-content/uploads/2017/12/NauchKonfer2006.pdf. 

От кореспонденция с ВУСИ посочи, че той не е бил докторант при тях, тъй като те не преподават в подобна област и нямат акредитация, и че всъщност е бил докторант в ФМИ на ПУ... Било е по време, в което бях студент. Потвърждава се от тук:

http://fmi-plovdiv.org/index.jsp?id=470&ln=1

"2. ФС прие следната тема на докторанта К.М.Ф., задочен докторант към катедра "Компютърна информатика"): "Когнитивно и психо-физическо моделиране в системи за електронно обучение".

3. ФС прие индивидуалния план за работа на ..., задочен докторант към катедра "Компютърна информатика (за периода 01.03.2006 г. - 01.03.2010 г.)."

Благодаря на Георги Манолов от ВУСИ за бързия отговор за изясняването на ситуацията.

Read More

Portable Pravetz-8VC, ICL CLAN 3 Unix Server & Terminal at a Bulgarian Computer Museum

Rare "portable" Pravetz-8VC computer in action(an Apple IIc clone), playing Karateka. ICL CLAN 3 Unix Server - circuit boards exploration and attempts to run it, data tapes. Running a Unix terminal.

Filmed at Compu Plovdiv, video produced by Todor.

Read More

Спомени за българската високотехнологична индустрия от фото архивите | Memories from the Bulgarian High-Tech Industry

Снимки от производството и настройката на компютри, електроника и други машини и техника от българския държавен архив от 50-те до 80-те години.

From the Bulgarian State Archives, from the 50-ies to the 80-ies.

http://www.archives.government.bg/bgphoto/004.08..pdf?fbclid=IwAR0WWNWCCaa41ZXVUSu8himrnqAC_fmIZ25REJ8OHP4DAlD_THpkNzTDWpw

Thanks to D. from the Compu  computer museum.

Read More

ДЗУ Стара Загора - 1985 и 1988 г. - DZU Stara Zagora Documentaries from 1985 and 1988 - Disk Drives and Robots

English - Below.

Филми за производството в ДЗУ Стара Загора през 1985 г. и през 1988 г.,  едно от най-мощните предприятия (стопанско обединение) на унищожената високотехнологична индустрия на България. И два клипа за завода за печатни платки в Русе от 1975 и 1989 г.

Впрочем, спомням си, че в една лекция на социолог на технологиите, преподавател в ПУ, в клуб "Нещото" в Пловдив, той беше споменал че технологията за производство на CD-та в ДЗУ е била собствена, разработена през 1987 г. (ако не греша). В скорошно предаване пък друг социолог и преподавател в ПУ след посещение в Южна Корея разказа, че когато ги попитал дали знаят за България, му отвърнали, че знаят всичко за нас и преподавали упадъка на България като отрицателен пример - какво не бива да се прави и как една развита държава може да се върне обратно в блатото.

Във филма от 1988 г. се показва част от научно-изследователската лаборатория, в която се мерят "разстояния между два атома", с електронни микроскопи и т.н.

В него от 18-тата минута се споменава, че продукцията се изнася в 18 страни на 4 континента. Има търговски връзки с представителства и сервизи.

Освен социалистическите от СИВ и Куба, още в:

Финландия
Австрия
Гърция

ГФР (ФРГ, Западна Германия)
Швейцария
Италия
Франция
Испания
Холандия
Нигерия
Китай
Бразилия
Индия
Иран

През средата-края на 90-те години ДЗУ още работеше, имам някъде из къщи брошура от Пловдивския панаир с преносими външни твърди дискове, но вече е отивало към залеза си.  Мисля, че произвеждаха компакт дискове.

После го купиха от унгарската фирма "Видеотон" и както пише коментатор под видеата, продукцията сега е на много по-ниско технологично ниво.

Благодаря на X за линковете и на канала "Pod lipite" за качването на клиповете!

 Производство на печатни платки в Русе, 1975 г. Благодаря на Д.




Bulgarian documentaries from 1985 displaying the DZU Stara Zagora factory, producing hard disk drives, floppy drives, industrial robots and other high-tech electronics and electro-mechanical equipment.

The video below is in English, the rest are in Bulgarian.

DZU was  driven to its bankruptcy after Bulgaria was "liberated" from socialism in 1989, and together with the socialism, the country was also "liberated" from its highly developed and high-tech industry and its huge technological potential, being the biggest producer of computer electronics in the Eastern Bloc and having plenty of highly qualified staff.

In one of the 1985's film they mention that 95% of the production was for export, in the 1988 movie they enumerate 18 countries in 18 continents, including East Europe ones and Finland, Austria, Greece, West Germany, Switzerland, Italy, France, Spain, Netherlands, Nigeria, China, Brazil, India, Iran.

Note that most of the staff in the clean-rooms and other facilities shown in the videos were women.

...

Printed circuit boards in Russe 1989:

Read More

ASIC Depot, Glas 2004 (TTS engine), Smarty (Comprehension Assistant)

[За български - виж по-долу]

I feel I've got so much to tell and share about my researches and thoughts from the past, that I've written only in Bulgarian, and I feel bad that recently I don't have enough time to do so.

In the beginning of the year I began a job as an engineer in a Start-up company called ASIC Depot, and in the beginning I'm working in Sofia.

Yet I'm following a Master program in Software Engineering at Plovdiv University, I'm trying to keep up with a lot of hobbies (recently I manage to do only with the juggling) and to have good time with my friends.

...

Glas 2004

I should soon tell something about my Text to speech synthesizer "Glas 2004" (Voice 2004) which I developed for few weeks in 2004 and unforunately I left a lot of ideas unrealized, because... Huh... Because I got tired and for other reasons, even thought I love to play with sounds.

Probably I will try to realize some olds and new ideas as a Master Thesis, so - this project is not dead. More on this later.


Smarty

http://eim.hit.bg/smarty-pic1.jpg

"Smarty" was my course project in my internship at the Research Institute in Information and Language Processing in Wolverhampton last year. The term for it is a comprehension assistant, roughly this means a dictionary which does NLP and aims at finding the most appropriate translation in given context.


That's not all, folks!

Tosh


Bulgarian

Чувствам, че имам да споделя толкова много за изследванията и мислите ми от миналото, които съм писал само на български (или съм забутал някъде надълбоко из теориите ми)... Чувствам се зле, че напоследък нямам достатъчно време, за да го сторя.

От началото на годината започнах интересна работа в една нова компания ASIC Depot, която се занимава с разработка и верификация на интегрални схеми. В началото съм в София.

В момента карам магистратура по Софтуерни технологии в ПУ, опитвам се да се занимавам с многото си хобита (напоследък успявам само с жонглирането). Искам и да си прекарвам добре с приятелите... :)
...

Глас 2004

За него пише из личната ми страница, но е трябва да се оправи начина по който е стоварено:

http://geocities.com/todprog/bgr/glas.htm

Вероятно ще опитам да реализирам някои идеи от тогавашната разработка през 2004-та, както и някои нови идеи като Магистърска дипломна работа. Повече по въпроса - по-късно.

Смарти


"Смарти" ми беше курсов проект по време на специализацията в Изследователската група по Компютърна лингвистика в Улвърхямптън миналата година. Тук пише малко повече:

https://forum.uni-plovdiv.bg/index.php?PHPSESSID=3f78f5166b64daf001e821799979aa85&topic=5868.0

Това определено не е всичко, което искам да кажа... От половин година имам да се хваля с едно откритие, което...

...Следва продължение

Read More