LINUX.ORG.RU
ФорумTalks

Создание своей СУБД + вебсервера + системы автоматизации


0

0

Добрый день!
Как вы уже возможно знаете, я давно вынашиваю планы разработки своей СУБД, а если быть точнее, то «вещи в себе», опционально включающей в себя систему автоматизации бизнеса и тд.

На данный момент мы (я=vahvarh, Vladimir Malyk, catap) приступили к формализации требований к системе. Хотелось бы услышать мнения сообщества ПО ДЕЛУ.

Заранее говорю (чтобы не было вопросов на тему школоты решившей написать свой лисапед):
- СУБД скорее всего (99%) будет писаться на эрланге (я уже начал писать некоторые модули)
- я много пишу под оракл так что знаю что такое СУБД
- catap участвовал в проектах с нагрузками до 100.000 запросов в секунду
- vladimir malyk плотно работает с 1С
- основными плюшками СУБД, в том числе, из коробки, будут кластеризация, (а)синхронная репликация, высокий уровень параллелизма.

Лицензия распостранения пока не выбрана.

Ещё раз - прошу писать ПО ДЕЛУ, то есть если вы хотите написать «ЧТО-ТО НЕ НУЖНО», идите пишите это в другом месте.


ЧТО ВАЖНО:
мы начали писать техническое описание требований на сайте
http://bhsql.vcity.ru/ - заходите, комментируйте по делу.

Надеемся на вашу помощь, заранее спасибо!

★★★

Круто конечно, особенно про системы автоматизации. Сам с 1С работаю.

sp101frk
()

>мы начали писать техническое описание требований на сайте

Техническое описание не так важно, важно то что вы собираетесь делать дальше с условно готовым продуктом.

Alex_A_V ★★
()
Ответ на: комментарий от Alex_A_V

одна из идей - бесплатно раздавать но при этом сделать платные сертифицированные курсы.

vahvarh ★★★
() автор топика
Ответ на: комментарий от bibi

bibi, для тебя же написали: если есть желание написать какую-нибудь глупость - напиши это в другом треде :)

vahvarh ★★★
() автор топика
Ответ на: комментарий от VladimirMalyk

>всем надоело закладывать в смету проектов стоимость ораклов и 1С.

Эту фразу стоит понимать как: «Втроем вы собираетесь написать СУБД, способную конкурировать с Oracle»? Извиняюсь за скептицизм, но это звучит нереально.

linuxfan
()
Ответ на: комментарий от linuxfan

Знаешь, некоторые ребята вдвоём решили сконкурировать с yahoo. И где теперь этот yahoo? Так что не говори «нереально», говори «вам будет трудно»

vahvarh ★★★
() автор топика
Ответ на: комментарий от vahvarh

bibi, для тебя же написали: если есть желание написать какую-нибудь глупость - напиши это в другом треде :)

И не подумаю. Даже и не уговаривай. У меня железное правило: на глупость я отвечаю сугубо глупостью. Постить это в талкс - явная провокация флейма чистейшей воды и ничего более. Я уж не говорю о содержимому по ссылке - тут лулзы можно неделями ловить. Русос нервно курит в сторонке. Так что на что, сударь, извините, но я буду играть сугубо в рамках заданных вами правил. Флейм так флейм. Если конечно будет настроение.

bibi
()
Ответ на: комментарий от vahvarh

>И где теперь этот yahoo?

Помимо поиска у yahoo есть свои сервисы, популярные у буржуев, но это оффтоп.

linuxfan
()

Хотелось бы услышать, используете ли вы mnesia ( по ссылке не нашел )?

Можешь не писать про «почему нет», но если таки не используете, было бы неплохо сделать какой-нибудь промежуточный слой, т.н. persistence layer, чтобы можно было работать как с диском, так и с памятью (memcached - это для бедных). Насколько я знаю, такие штуки делаются поверх software transactional memory, не знаю как именно,но в mnesia реализовано.

volh ★★
()
Ответ на: комментарий от linuxfan

задача конкурировать с оракл не ставится :) опять же, _все_ фичи оракл или 1С ни к чему - нужны самые ходовые, а это не так и много если разобраться.

VladimirMalyk ★★★★★
()
Ответ на: комментарий от volh

mnesia нет, не используем и не планируем. планируем писать свой storage, для того чтобы добиться нормальной транзакционности и репликации.

vahvarh ★★★
() автор топика
Ответ на: комментарий от VladimirMalyk

пользовать в своих проектах. всем надоело закладывать в смету проектов стоимость ораклов и 1С


Тогда уже сразу пишите свой Linux ибо в смету закладывать приходится и RHEL

Karapuz ★★★★★
()
Ответ на: комментарий от Karapuz

абсолютно не обязательно. debian никто не отменял. даже оракл уже под дебиан выпускает пакеты.

vahvarh ★★★
() автор топика

И что, всё это вы собираетесь сделать втроем? Только не надо про «двух парней» - там отнюдь не двое было.

tailgunner ★★★★★
()
Ответ на: комментарий от tailgunner

Не так давно был случай поприземленнее. Расово-еврейский смолтокер Ави Брайант, в отсутствии современных инструментов в своем любимом язычке под задачу ( веб-аппликейшен-серверы ) написал себе довольно крутой и общий фреймворк ( seaside.st ), dvcs ( monticello ), вроде какую-то orm или oo-db и создал бизнес по модели SaaS - БД для пользовательских нужд, dabbledb.com. Всего там в разработке участвовало, емнип, трое человек, один из которых дизайнер. Не яху конечно и уж точно не гугл, но вполне живо.

Надеюсь ТСа пример вдохновит, тем более что более-менее из той же оперы.

volh ★★
()
Ответ на: комментарий от Sekai

> Между чем и чем колеблетесь?
Как я уже писал - скорее всего бесплатное распостранение без исходников (боимся копирастов запатентовавших какой-нибудь btree) и платные сертифицированные курсы.

щас напишу это на сайте.

vahvarh ★★★
() автор топика
Ответ на: комментарий от vahvarh

не знаю как там и где яху, но вот команда их тигров, очень ничего, да :)

И что интересно, русских в ней половина ;)

catap ★★★★★
()
Ответ на: комментарий от tailgunner

жизнь впереди длинная, проектов предстоит много - так что рано или поздно что-то вроде сабжа придется писать как ни крути. поэтому мы решили не тянуть кота за яйца и начать прямо сейчас.

VladimirMalyk ★★★★★
()
Ответ на: комментарий от volh

Готов рассказать тебе про устройство мнезии.

Именно тут ее не будет, мысль в том, что будет достаточно простой key-value storage (ага, 2007) но он будет уметь snapshots, наверное

catap ★★★★★
()
Ответ на: комментарий от tailgunner

мы не лимитируем сроки, да. И количество фич (: И что вообще будем делать. varhan набросил на винтелятор, а мы так, лапатами пришли помогать ;)

catap ★★★★★
()
Ответ на: комментарий от VladimirMalyk

> рано или поздно что-то вроде сабжа придется писать как ни крути

Слишком мало людей, слишком нечеткие планы... да и как-то закрыто всё.

tailgunner ★★★★★
()
Ответ на: комментарий от catap

> мысль в том, что будет достаточно простой key-value storage (ага, 2007)

Без хотя бы какого-нибудь недоSQL (как в GAE, например) это не имеет смысла :)

tailgunner ★★★★★
()
Ответ на: комментарий от VladimirMalyk

> всем надоело закладывать в смету проектов стоимость ораклов и 1С.

Топикстартер получает $5000.00 за проект, цена оракла для него не является критичной. Это же не для нищебродов сделано будет.

simple_best_world_web_master
()

«я пиарюсь»(ц) ; )

одна из идей - бесплатно раздавать но при этом сделать платные сертифицированные курсы.


вменяемая документация планируется?

данные как хранить планируете?

se ★★
()
Ответ на: комментарий от se

> вменяемая документация планируется?

База бесплатно, а документация за $10000000000 - это тоже вариант бизнес-модели

simple_best_world_web_master
()
Ответ на: комментарий от catap

>Готов рассказать тебе про устройство мнезии.

А расскажи. И особенно расскажи почему она сосет для вашей задачи. А то я с ней никогда сам не работал, но по описанию такая штука - загляденье, вот и мучают вопросы.

volh ★★
()
Ответ на: комментарий от tailgunner

>> мысль в том, что будет достаточно простой key-value storage (ага, 2007)

Без хотя бы какого-нибудь недоSQL (как в GAE, например) это не имеет смысла :)

На сайте расписано - предполагается сделать отдельно хранилище и отдельно процессинговый модуль. хранилище тупо хранит а процессинг как раз реализует (очень крутой) SQL поверх хранилища.

В оракле это примерно так же. У них нижний уровень - тупая не иерархическая файловая система, с адресацией по RowId.

vahvarh ★★★
() автор топика
Ответ на: комментарий от se

> вменяемая документация планируется?
планируется более чем вменяемая. уж лучше чем у постгреса или mysql.

данные как хранить планируете?

на сайте написано. да и в треде тоже теперь уже.

vahvarh ★★★
() автор топика

молодцы. Идею написания системы автоматизации поддерживаю, идею создания БД + вебсервера - не очень, пока не вижу планируемых преимуществ перед существующим ПО.

И насчет «высокий уровень параллелизма»

Используя erlang и некоторые специфичные идеи, мы рассчитываем распараллелить достаточно сложные запросы на все имеющиеся ядра внутри одного процессинговой ноды.


Как??! Частные случаи несомненно можно. Но как рапараллелить простой inner join? Взяли декартово произведение, разбили на квадратики и каждый квадратик поручили исполнять отдельно?

Вобщем, проект забукмарчил, буду с интересом следить (я так понимаю целью поста было заинтересовать, а не привлечь разработчиков? (судя по

Тут я более конкретно пока расписывать не буду, по причинам параноии, но тестовый вариант уже параллелится.

))

JFreeM ★★★☆
()
Ответ на: комментарий от volh

> А расскажи. И особенно расскажи почему она сосет для вашей задачи.

Чем она сосёт «в общем», это боюсь действительно больше к киру.
Но она по определинию (как, кстати, написано в вики) не является десктопной СУБД общего назначения.

У нас же идёт разделение на тупое хранилище (местами более тупое чем мнезия), но с транзакционностью и процессинговый модуль.

vahvarh ★★★
() автор топика
Ответ на: комментарий от vahvarh

> На сайте расписано - предполагается сделать отдельно хранилище и отдельно процессинговый модуль

Я читал, поэтому меня и удивили слова о key-value.

процессинг как раз реализует (очень крутой) SQL

А в чем его крутизна, ты не говоришь из-за паранойи? :)

tailgunner ★★★★★
()

[посыпает голову пеплом] вот так пишешь-пишешь говноскрипты на перле.
считая большой удачей то, что при очередном нагрузочном тестировании говносервер выдержал 1500 запросов с секунду(не статика). да и то за счет переписывания части проекта под встроенный в nginx perl.

а тут люди сами СУБД мутить собираются на полном серьезе..
шо делаеццо..

se ★★
()
Ответ на: комментарий от JFreeM

Разработчиков тоже ищу.

Как параллелить - например если запрос ДОСТАТОЧНО сложный то там будет несколько листьев в дереве плана выполнения, таких что будут обращаться к индексам и брать данные. они могут их брать и сувать в следущий процесс фильтрации или декартового произведения или ещё чего-бы-то-ни-было. то есть будет не «то работаем с индексом то фильтруем» а «одновременно работаем с индексом и фильтруем». но для этого придётся порождать процессов в несколько раз больше чем размер explain plan. а это уже только erlang.

vahvarh ★★★
() автор топика
Ответ на: комментарий от anotheranonymous

Назови мне хоть одну работающую СУБД кроме оракла, постгреса и ms sql server? так что их не так уж и много.

vahvarh ★★★
() автор топика
Ответ на: комментарий от se

>да и то за счет переписывания части проекта под встроенный в nginx perl.

[оффтоп]Это ты зря. Можно было попрямее - nginx ведь в дефолтовой поставке может с мемкешедом общаться. Хотя, если там одна динамика..[/оффтоп]

volh ★★
()

Очевидно, люди же хотят просто замутить стартап, чтобы в перспективах продаться 1Су или Яндексу, кто больше заплатит. Нормальная ситуация для заРФья, но в РФ у них просто рейдеры отожмут сервер с исходниками, так дешевле

Karapuz ★★★★★
()
Ответ на: комментарий от JFreeM

> Но как рапараллелить простой inner join?

предполагается, что на прикладном уровне будет реализована некая объектная модель специализированных сущностей технологической платформы. это не только натолкнет разработчика на вменяемые и адекватные приемы кодирования, но крепко развяжет нам руки в плане распараллеливания и оптимизации на нижнем уровне.

VladimirMalyk ★★★★★
()
Ответ на: комментарий от VladimirMalyk

> предполагается, что на прикладном уровне будет реализована некая объектная модель специализированных сущностей технологической платформы

Без обид, но пока вы напоминаете лебедя, рака и щуку :)

tailgunner ★★★★★
()
Ответ на: комментарий от tailgunner

сам в шоке - но ты не видел что творилось еще 2 дня назад. сейчас хоть какой-то вектор наметился.

VladimirMalyk ★★★★★
()
Ответ на: комментарий от tailgunner

угу. в плане ОО-платформы мы ещё не устаканились. Тут у каждого своё видение. В том числе поэтому я пока ещё не лезу глубоко в программирование, а пытаюсь найти свежий взгляд. Например, была идея ОО-базы данных, но на момент когда я или кир пытаемся представить себе наследование, у нас мозги закипают. А без наследования ОО-Бд ничем от суРбд не отличается.

vahvarh ★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.