МЦСТ публикует исходные тексты ядра Linux 6.1 для архитектуры Эльбрус

Радуйтесь тому что есть.

Я не уверен, что это правильная оценка ситуации. Ваш оппонент - обычный тролль, зачем обращать на него внимание? В каждом обсуждении Эльбруса он приходит с одними и теми же тезисами, один из которых, грубо и коротко говоря звучит как «если не на 18 ангстрем, то несчитова». Но цель создания Эльбруса не в том, чтобы удивить мир или импортозаместить плейстейшен. Он создан для решения задач государственной важности здесь и сейчас. Отсюда следует, что и без машины времени понятно, во все будущие времена мцст будет договариваться со всеми доступными на тот момент площадками и производить максимально много. Максимум зависит от количества доступных ресурсов как у мцст так и у площадки.

А про TSMC - не надо спекуляций, никто сейчас не знает, что будет вокруг Тайваня. Я, например, верю, что наши страны сообразят, как дружить против Китая. Но меня Трумп в последнее время, почему-то не спрашивает, может из доверия вышел, может старею, а ему альтманов да цукербергов подавай. Не знаю.

Не заморачивайтесь, ничего нового. Все те же тролли с теми же самыми глупостями. По делу всё просто, из-за повесточки Эльбрус выкинули из ядра. МЦСТ вынужден продолжать поддержку собственными средствами. На сегодня других новостей нет.

Самописный софт: собирается и работает из коробки, некоторые куски неожиданно быстро, один кусок (написанный коллегами на C++ по моему описанию алгоритма) – неожиданно медленно.

Из какой области? Секретов я не выспрашиваю, просто направление интересно.

Упёртым людям ничего объяснить невозможно, это факт. Однако, если их тупняк оставлять вовсе без внимание, то под каждой новостью про эльбрус будут одни негативные комментарии от злопыхателей разных мастей, что тоже не очень правильно. А так, да, я согласен, что эльбрус «создан для решения задач государственной важности», так что экономика тут важная, но второстепенная тема.

А про TSMC - не надо спекуляций, никто сейчас не знает, что будет вокруг Тайваня.

Так как раз «никто не знает» и является самой благодатной почвой для спекуляций. Фантазию ничто не сдерживает.

Из какой области? Секретов я не выспрашиваю, просто направление интересно.

Если совсем абстрактно – алгоритм кластеризации точек по заданной метрике. Из всех пар точек выбираем пару с минимальным «расстоянием», объединяем эту пару в одну точку, повторяем, пока «расстояние» между любой парой точек не будет больше заданного.

Очевидных вещей, как минимум, «не перевычислять метрику для всех пар, не включающих точки, объединенные на предыдущем шаге» здесь много. Код глазами внимательно не смотрел, работает «здесь и сейчас», и ладно. На e2k заметные тормоза в этом куске вылезли, в первую очередь надо искать чисто алгоритмические ляпы.

Однако, если их тупняк оставлять вовсе без внимание, то под каждой новостью про эльбрус будут одни негативные комментарии

Кстати, здесь на удивление тихо. Или вода камень точит, или всем уже надоело на “VLIW VLIW” реагировать.

алгоритм кластеризации точек по заданной метрике

Понятно, спасибо. Целочисленная задача из обхода графов. Если это не ПРО, то я тогда не знаю… Всё, молчу.

Понятно, спасибо. Целочисленная задача из обхода графов. Если это не ПРО, то я тогда не знаю… Всё, молчу.

Такие задачи возникают где угодно. Например, в физике высоких энергий: кластеризация ячеек калориметра по энерговыделению (алгоритмы реконструкции струй), кластеризация точек {x+-dx, y+-dy} для нахождения оптимальной кусочно-гладкой параметризации, и т.д.

Это понятно, вот только мне в Ферми лабе расчётчики на Эльбрусе что-то не попадаются. А так да, кластеризация у них вполне даже используется.

Кстати, раз уж вы сами про эту тему заговорили, ваш покорный слуга меленько наследил в этом направлении. Есть такой проект, OpenLOOp называется, мне нужно было обойти точность расчёта реконструкции струи, там 64 плав запятой сильно не хватает, а 128 бит из glibc мееееедлеееенно. Пришлось вспомнить то, что мы в своё время с дедушкой Дэвидом Бэйли мутили вокруг ddfun.

Но это так, лирическое отступление.

Это понятно, вот только мне в Ферми лабе расчётчики на Эльбрусе что-то не попадаются. А так да, кластеризация у них вполне даже используется.

В Протвино/Дубне/Новосибирске тоже. У меня чисто праздный интерес.

Бывал я в вашем Новосибирске :)

Есть такой проект, OpenLOOp называется, мне нужно было обойти точность расчёта реконструкции струи …

OpenLoop вроде как про вычисление матричных элементов по теории возмущений. Какие там адронные струи? Parton shower, максимум.

Мы его используем для идентификации.

Мы его используем для идентификации.

Для ID чего?

Мы ушли в строну и кроме нас двоих вряд ли эта тема кого-то заинтересует в разделе про Эльбрус. Эксперименты по поиску новых частиц. Вероятность обнаружения на пределе погрешности экспериментов. С вычислительной точки зрения есть желание избежать дополнительных шумов.

Спасибо, кэп. Вы специалист по FPGA?

Мне часто задают вопрос, и на этом форуме в том числе, вы специалист по то, вы специалист по это? Вот один из модераторов этого форума считает, что я вообще тролль, нагугливший что-то общее по верхам но нихрена не знающий по существу. И чем дольше я живу, тем больше я понимаю, что он прав.

Я занимаюсь разработкой высокопроизводительных вычислительных систем. Всё что с этим связано. Сегодня. Завтра. Пятьдесят лет вперёд.

Не хотел обидеть. Вы упомянули FNAL, но к физике высоких энергий, по разговору, непосредственного отношения не имеете. Поэтому предположил, что вы чистый электронщик.

Вы меня не обидели. Я обеспечиваю их вычислительными ресурсами. Непосредственно к физике высоких энергий я не имею.

Ok, проехали.

внутри скриптуха, JIT и байткод, оптимизированный под x86_64

Поэтому браузеры на «Эльбрусе» работают в основном посредством двоичного транслятора приложений «RTC»

http://www.mcst.ru/RTC

С многопроходной оптимизацией в реальном времени, что нивелирует проблемы. Хотя, есть и портированные на «Эльбрус» браузеры.

По делу всё просто, из-за повесточки Эльбрус выкинули из ядра.

Это поддержку «Байкала» убрали из ядра.

МЦСТ вынужден продолжать поддержку собственными средствами.

В МЦСТ всегда делали свою версию ОС на базе Debian с патчами ядра для платформы «Эльбрус»

https://www.mcst.ru/Elbrus_Linux

https://dev.mcst.ru/download/

Нативной поддержки «Эльбруса» в Linux не было.

Ну, мне-то не надо рассказывать, спасибо )

Это очень хороший вопрос. Великолепнейший даже. Мне было бы очень интересно услышать ответ, в какой же это модели угроз производство своего (с) процессора на иностранном оборудовании считается безопасным. И заодно, чем это отличается от покупного процессора в системе, не подключенной к публичной сети.

Поймите правильно, любите вы меня или нет дело десятое. А вот ваша собственная репутация действительно под вопросом.

Всё происходит ровно так, как я говорил: ты в очередной раз отвечаешь только в стиле ad hominem. Я не думаю, что твой низкосортный слоп про репутацию нужно хоть как-то комментировать - всем и так всё ясно.

Так ты из яндекса…

Продолжай свою мысль %) Яндекс недостаточно хорош для великолепнейшего эльбруса?

Мне было бы очень интересно услышать ответ, в какой же это модели угроз производство своего (с) процессора на иностранном оборудовании считается безопасным. И заодно, чем это отличается от покупного процессора в системе, не подключенной к публичной сети.

Давайте уберём клоунаду про (c) и подумаем вместе, а что можно сделать в сложившейся ситуации. Допустим процесс разработан и планировалось использовать TSMC 16. Не срослось по объективным и независимым от нас причинам. Есть идея использовать SMIC на 22 или если надо гнать объём 32. Вариант один или так или никак. Вот интересно послушать ваши действия - допустим наши разногласия в прошлом и я действительно хочу наладить конструктивный контакт. Итак?

Кстати, для желающих погрузиться в глубины глубин.

Алгоритм FFT на Си для процессора «Эльбрус»

Часть 1: https://habr.com/ru/articles/1045901/

Часть 2: https://habr.com/ru/articles/1080522/ (векторизация)

из-за повесточки Эльбрус выкинули из ядра

Повесточка-повесточка-повесточка, кис-кис-кис.

Эльбрус выкинули из ядра, поэтому что это обскурное железо, существующее в крайне ограниченном числе машин на территории только одной страны, и больше нигде не доступное.

Чтобы наладить контакт, ты можешь для начала извиниться за свое хамство и не использовать формат «давайте подумаем вместе… итак?», разворачивающий мой вопрос на 180 градусов ко мне. Я спрашиваю про конкретную вещь и хочу услышать ответ от других, а не вот это вот всё.

Я предлагаю преостановить вражду и переключить энергию в предметное русло.

Извините меня за допущенное хамство в предыдущих сообщениях. Я искренне желаю восстановить продуктивный конткакт.

Хорошо. Я готов очень внимательно выслушать от тебя извинения за твое прошлое хамство, ad hominem и кривления, и переключить энергию в мирное русло.

Ок, посмотрим.

Эльбрус выкинули из ядра, поэтому что это обскурное железо, существующее в крайне ограниченном числе машин на территории только одной страны, и больше нигде не доступное.

Трудно оспаривать этот тезис. Да, это правда. Но это полуправда, потому что обскурных желез много, а выкидывают это, причём в очень узкий период времени. Но сейчас не об этом.

Но это полуправда, потому что обскурных желез много

Обскурное - это еще не всё. Тут вся проблема в доступности. Даже если железки редкие и дорогие, но их всё еще можно купить и использовать - их поддержка обычно в ядре, и нет никаких проблем с тем, чтобы ее там поддержать. С эльбрусом же целый ряд проблем:

• Недоступен за пределами РФ.
• Требует проприетарного компилятора для сборки.
• Спеки на процессор закрыты и анально-огорожены.

По-моему, совокупность этих факторов уже достаточная причина для того, чтобы выпилить поддержку железки из ядра. Опенсорсных инструментов нет, документации нет, нихера нет, но производитель хочет быть в апстриме, чтобы получить бесплатное сопровождение своего велосипеда. Так дела не делаются.

Кстати, акрытость LCC обычно оправдывали тем, что он использует проприетарный фронтент EDG. Несколько дней назад как раз была новость, что Edisson Design Group самоликвидировались, предварительно превратив все свои продукты в опенсорс, и на этом фоне мне интересно: исходники компилятора всё-таки будут открыты, или нет?

Я не берусь прямо и по пунктам говорить «это да», а «это нет». В вашем сообщении очень много того, что действительно является правдой. Нет сомнения в том, что доступность ограничена. Нет сомнения в том, что требуется некий llc. Я согласен с тем, что некоторые спеки на процесоор закрыты. Но есть одно но. Микроархитектура доступна, документирована, а вполне соответствует железу.

Но я согласен - и это вопрос к причастным, правда ли что доступность железа является ключевым фактором к сохранению или отбрасыванию архитекутуры? Longson тоже как бы не в каждом утюге и купить в BestBuy не получается, но это не является причиной остановки поддержки в mainstream.

Всё-таки, и да простят меня мои начальники, в вопросе с Эльбрусом повесточка таки есть, причём торчит непрекрыто и со всех сторон. И разработчикам Эльбруса надо (и я очень рад, что они тоже это понимают) учитывать, что коньектура приходит и уходит, а повестка остаётся десятилетиями. И речь в Фултоне всё-таки была и остаётся решающим путеводителем того как общаются эти два мира.

Микроархитектура доступна, документирована, а вполне соответствует железу.

Они же ее только недавно открыли, разве нет? Причем, кажется, после того, как их выкинули из ядра. Я тут могу ошибаться; хотелось бы, чтобы кто-нибудь подтвердил или опроверг с пруфами.

правда ли что доступность железа является ключевым фактором к сохранению или отбрасыванию архитекутуры?

Множество архитектур и устройств было выкинуто из ядра по причине «никем не используется», «устарело», «недоступно» и так далее. Даже если повесточка присутствует, есть вполне нормальная организационная причина выкинуть поддержку обскурного железа, чтобы не тратить на нее время и ресурсы разработчиков.

Longson тоже как бы не в каждом утюге и купить

Его можно с небольшими усилиями купить за пределами Китая. С эльбрусом такое не прокатит, для его покупки даже в РФ требуются усилия, и стоит он неадекватных денег. А еще есть фактор количества юзеров: даже в РФ эльбрус мало распространен на все 140 лямов человек, а в Китае это мейнстрим на миллиард.

Они же ее только недавно открыли, разве нет?

Я работаю в недружественной организации и имею доступ с деталями. Скорее нет, чем таки да.

Это сейчас ты имеешь доступ. А имел ли ты доступ раньше, в момент, когда архитектуру выкинули?

Longson тоже как бы не в каждом утюге и купить

Его можно с небольшими усилиями купить за пределами Китая.

Это интересно. Я бы купил парочку для коллекции. Джек Донгарра говорил по этому поводу, «ребята, не кипишите, процессор существует, но нам его хрен покажут». И мы все понимаем, почему.

Да, имел. Но это другая история. Мы не хотим внезапного индустриального прорыва.

Мой вопрос изначально был таким: были ли доступны микроархитектурные доки и порчие спеки к эльбрусам официально, до того, как их выкинули из ядра? Лично ты мог иметь или не иметь к ним доступ, но это уже другой вопрос. Я говорю про официальную и открытую доступность.

Я не знаю. Вопрос к причастным. Я имел.

Вообще, в ядре полно железа, спеков для которого нет, или же они есть только у драйверописателя под NDA. Но это не главный критерий. Две главных причины - это недоступность железа и проприетарность компилятора. А повесточка - это просто повод подвернулся, потому что реально используемый кем-то код никто не стал бы выбрасывать. По сути, требование LCC нарушает весь процесс разработки: все поддерживаемые архитектуры компилятся GCC/LLVM, и только одна эта особенная. На это можно было бы закрыть глаза, если бы архитектура была востребованной и широко используемой, но ведь нет. И зачем она там такая нужна?

К вопросу о компиляторах, мне в прошлых тредах фанаты эльбруса рассказывали, что LLVM - это вообще не опенсорс, потому что отказались принимать патчи от МЦСТ. Патчи добавляли поддержку внешнего компилятора IL - таким образом, через LCC можно было бы компилять все языки, что умеет LLVM. Вот только есть одна проблемка: эти патчи шли вразрез с политикой LLVM, согласно которой все нужды LLVM должны удовлетворяться самим LLVM. То есть, ради эльбруса разрабам LLVM предлагалось нарушить сложившуюся политику и создать неприятный прецедент зависимости от сторонних проприетарных компонентов.

МЦСТ не хочет открывать компилятор, но хочет, чтобы их поделки поддерживали все вокруг, меняя свои процессы, политики и прочее, ради абсолютно недоступного обскурного железа. Я бы тоже такое выкинул из ядра.

Важно понимать одну простую вещь, разработка Эльбруса не подходит под стандартную «а не замутить ли нам ARM ядро для камеры наблюдения». Она не могла пройти незамеченной и она не прошла. Мы, сотрудники яндекса и министерства энергетики никак не можем влиять на реалии. Мы понимаем, что независимо от успеха - особенно если он есть - или неуспеха этой работы будет серьёзное проотиводействие этому проекту. Оно есть. Мы это видим. Собственно это обсуждение есть результат маленького успеха, как всегда «несмотря» и «вопреки», но системное ПО развивается и поддерживается.

Я вам благодарен за беседу. Я не хочу бессмысленных конфронтаций по надуманным причинам. Спасибо, и ещё раз извините за прошлую грубость.

Важно понимать одну простую вещь, разработка Эльбруса не подходит под стандартную «а не замутить ли нам ARM ядро для камеры наблюдения».

Безусловно. И я много раз повторял, и повторю еще раз: хорошо, что в РФ разрабатываются процессоры. Это драгоценные компетенции и исследования, потому что нельзя, решив однажды сделать свой проц, сделать его с пустого места. И МЦСТ здесь играет роль хранителя/воспитателя кадров.

Моя единственная претензия, на которую мне никто не смог ответить - почему VLIW, а не спарк, по которому у МЦСТ тоже есть огромные компетенции. Никто внятно не смог объяснить, почему нельзя было делать спарк со всеми плюшками для безопасности - один хрен архитектура своя - вместо того, чтобы изобретать VLIW, идя в очередной раз по пути, на котором провалились две другие коммерческие компании, обладавшие гораздо большими ресурсами и компетенциями, чем МЦСТ.

Причем, если бы это был спарк - было бы гораздо проще протолкнуть его поддержку в ядро, LLVM и GCC. Разработка не была бы сизифовым трудом с бесконечнм доведением до ума компилятора с добавлением в него всех возможных частных случаев для ускорения.

И вы меня тоже простите, я бываю резковат, потому что в современном интернете не всегда понятно, когда собеседник троллит, а когда он просто идиот, а я уже староват, чтобы пытаться разбираться в глубинах каждого встречного %) Давайте и дальше общаться по делу; думаю, это будет интересно.

И я много раз повторял, и повторю еще раз: хорошо, что в РФ разрабатываются процессоры. Это драгоценные компетенции и исследования, потому что нельзя, решив однажды сделать свой проц, сделать его с пустого места. И МЦСТ здесь играет роль хранителя/воспитателя кадров.

Это важное замечание. Потому что не каждый тот кто здесь друг и тот кто там враг. Вы это поинимаете. Отлично. Вы возможно этого не знаете, но я с директоратом МЦСТ имел долгое и плодотворное сотрудничество ещё «до того». И с Бабаяном в Интел встречались. Но сейчас не суть.

Моя единственная претензия, на которую мне никто не смог ответить - почему VLIW, а не спарк, по которому у МЦСТ тоже есть огромные компетенции.

Я не архитектор микроархитектуры Эльбрус, но попытаюсь ответить на этот вопрос. Есть следующие ограничения. Чип должен быть максимально маленьким по площади. Почему? Их нужно много. Мы не гарантируем доставку. Мы не гарантируем производственный процесс. Должны быть готовы и к 130нм и к 18 ангстрем. Отсюда вывод - всё, что можно выносим в софт, хард только по минимуму. Ни какой умности. Ни какой instruction scheduling, zero speculative execution, no register mapping, no instruction windows. Забудьте про предсказатель переходов. Ни че го, что может позволить упрощение программирование, но увеличивает die space. Всё в софт. Пусть монк пишет хоть в машкодах, он дешевле. (Прости, монк, не в обиду).

Но. Большое но. Производительность. Частота определяется процессом производства, а процесс - хрен его знает, зависит от того кто друг, может 130нм может 18А. Отсюда единственный вывод - много инструкций за такт, параллелизм. Иначе производительности не добиться. Поэтому да, влив идея померла. Все понимают. Всё ясно. Но. Это большое но. Кремний дорог, а монк дёшев. (Ещё раз, прости). А задач не так много, чтобы вот разбиться и надо. Остальное подождёт. Ракеты надо запускать и ПРО обслуживать. А плэйстейшены, это уже когда и если.

Извините за анаглийский, я не владею русской технической терминологий в достаточной степини.