LINUX.ORG.RU
ФорумJob

$500,000 за канал с открытым данными

 ,


1

3

Всем привет.

Хотелось бы поделиться радостной новостью: не так давно мы запустили проект, который позволяет обмениваться потоками открытых данных в реальном времени: https://www.satori.com.

Начну с сути: вы получите от нас 500,000 долларов, если создадите наиболее эффективный и интересный канал с открытыми данным. За второе и третье место в этом соревновании мы дадим по 250 и 100 тысяч соответственно.

Наша платформа смотрит в будущее, где данные не просто тихо таятся в бесчисленных хранилищах, но и образуют потоки информации с возможностью отслеживать их изменения в реальном времени. Всё это можно читать, объединять между собой, трансформировать.

Мы взяли на себя ответственность за практически безграничное линейное масштабирование системы и максимально низкие задержки при доставке. Мы позволяем разработчикам не только читать данные, но и писать своих собственных ботов, которые обрабатывают потоки, интегрируются с другими хранилищами, взаимодействуют между собой. И всё это - совершенно бесплатно, в разумных количествах. В платном же варианте мы готовы поддерживать в том числе неразумные нагрузки и предоставлять инструментарий по анализу использования данных с подробной статистикой и управлением доступом.

Нашей платформой уже пользуется транспортная система Новой Зеландии: пользователи мобильных приложений могут отслеживать маршруты общественного транспорта в реальном времени. Скоро каждый житель этой страны будет знать, где находятся в данный момент времени конкретный автобус, самолет или поезд.

Мы предоставляем SDK для наиболее популярных языков. Продвинутые пользователи смогут выполнять SQL-like запросы над потоками данных в реальном времени, использовать эти потоки как KV хранилища и наоборот.

И кстати… Мы ищем в команду сильных инженеров в наш офис в Берлине (с переездом поможем). Обязательные требования: опыт Java, разработки сервисов и высокопроизводительных приложений, хороший английский.

Подробности про вакансию можно найти в соседнем треде: Senior Java Engineer, Berlin

По какому принципу новые RSS добавляете в BIG RSS?

SOmni ★★ ()

прочитал джва раза про сие канальное чудо, но так и не понял зачем оно нужно. можете на пальцах объяснить для нехипстеров, ибо жутко хочу 500.000 долларов?

nebelig ()

А можно просто получить $ 500,000 без всей этой мороки.

pkurg ★★★ ()
Ответ на: комментарий от SOmni

Фиды добавляет специально обученный бот. Пользователи их тоже могут создавать.

В целом он анализирует Интернет, а в частности алгоритм подсказать не могу: это не наш код.

day4ree ()
Ответ на: комментарий от nebelig

прочитал джва раза про сие канальное чудо, но так и не понял зачем оно нужно. можете на пальцах объяснить для нехипстеров, ибо жутко хочу 500.000 долларов?

Это нужно для решения класса задач, нацеленных на быструю доставку большого количества сообщений и их фильтрацию, и при этом можно не иметь для этого никакой инфраструктуры.

Новая Зеландия использует для публикации данных обо всём из государственном транспорте. Можно сделать мультиплексирование каких-нибудь массовых рассылок, в том числе на мобилки, да или хоть на утюги современные. Или публиковать данные котировок какой-нибудь биржи миллионам клиентов. Или тот же банальный чат на сто тысяч человек онлайн.

day4ree ()
Ответ на: комментарий от day4ree

Новая Зеландия

чутка меньше нашего спб

в целом понятно, осталось написать клиента и найти сто тысяч человек пользователей. кстати, почему апи на перл нет?

nebelig ()
Ответ на: комментарий от nebelig

в целом понятно, осталось написать клиента и найти сто тысяч человек пользователей. кстати, почему апи на перл нет?

С Новой Зеландией не надо тягаться, она уже нас использует и не является конкурентом кому-то в этом соревновании. Поэтому и нахождение ста тысяч пользователей не входит в условия победы. Нужно создать такой канал данных, который будет востребован другими пользователями. Среди конкурсантов - просто разработчики, там не «правительств» или «большого брата».

Нет API на Perl, потому что среди нас нет хороших специалистов на нём. Вы можете написать свой. ;)

day4ree ()
Ответ на: комментарий от day4ree

У всех этих вещей разные требования к надежности, скорости, а некоторым еще может оказаться нужным подтверждение доставки, у все это все в одном?

обычно решения под каждые требования пограничные - нужна надежность - одно, скорость - другое.

Deleted ()
Ответ на: комментарий от day4ree

вообщем 500.000 для того, кто придумает для чего эта ваша штука нужна. вполне адекватное вознаграждение, я так увы и не придумал.

nebelig ()
Ответ на: комментарий от Deleted

У всех этих вещей разные требования к надежности, скорости, а некоторым еще может оказаться нужным подтверждение доставки, у все это все в одном?

В настоящее время у нас reliability примерно на уровне 99.95, но мы запустились совсем недавно, улучшим.

Скорость - понятие относительное. Попробую в конкретных цифрах описать. Мы легко доставляем хоть миллионов сообщений в секунду через один канал, если позволит сеть до отправителя и получателя. Внутренняя задержка - пара миллисекунд. Ширина одного соединения - 10Гб, но их можно иметь несколько к одному логическому каналу.

Подтверждение доставки есть, его можно включить или выключить в настройках соединения.

обычно решения под каждые требования пограничные - нужна надежность - одно, скорость - другое.

Ну, да.

day4ree ()
Ответ на: комментарий от nebelig

вообщем 500.000 для того, кто придумает для чего эта ваша штука нужна. вполне адекватное вознаграждение, я так увы и не придумал.

Не обязательно придумывать что-то принципиально новое в широком смысле. Важно лишь, чтобы это было новым на нашей платформе и было востребовано.

Готов стать админом вашей хуйни.

В Калифорнию мы ищем Senior SRE, хотя уже и не в нашу Java команду. Если есть желание - можете отправить резюме на английском

day4ree ()

Звучит достаточно интересно, только вот деньги тут не понятно зачем.

ddidwyll ★★ ()
Ответ на: комментарий от ddidwyll

Звучит достаточно интересно, только вот деньги тут не понятно зачем.

Затем, что, каким бы ни был продукт, но без рекламы, лютой удачи или самопожертвования - о нём вряд ли кто-то узнает, такова суровая реальность. И, чтобы интересные технологические решения не погибали в тишине и одиночестве, кому-то нужно их еще и продвигать. :)

day4ree ()
Ответ на: комментарий от day4ree

чтобы это было новым на нашей платформе и было востребовано.

это то понятно, но вот придумать нечто, где будет необходимость гонять данные через левых васянов да еще из гермашки (плотно седящей на звезднополосатом кукане), вот это не получается. а вы идей можеть подкинуть? котировки, чат и спамрассылки даже при беглом рассмотрении непригодны для этого сервиса. хоть ддосить через ваш серсис можно?

nebelig ()
Ответ на: комментарий от nebelig

это то понятно, но вот придумать нечто, где будет необходимость гонять данные через левых васянов да еще из гермашки (плотно седящей на звезднополосатом кукане),

В Германии мы нанимаем сотрудников, с расположением серверов это никак не связано. Вся суть конкурса в создании канала открытых данных, отправлять данные кредиток мы не просим.

вот это не получается. а вы идей можеть подкинуть? котировки, чат и спамрассылки даже при беглом рассмотрении непригодны для этого сервиса.

Вся суть конкурса - в Ваших идеях.

хоть ддосить через ваш серсис можно?

Ддосить не получится: вычислительные ресурсы бесплатных ботов ограничены, так же как и доступ в Интернет.

day4ree ()
Ответ на: комментарий от day4ree

Я так понял это что-то вроде транспорта, я делаю бота, и он выполняется на вашей стороне, он где то что-то читает и льёт в поток своего канала, кому надо читают, тоесть это по сути стим.

Тут идей можно много придумать, от слива всего твиттера в один канал :D или инстаграмма, до информации о публикациях научных статей, и даже к примеру live данные о состояних исследований например БАК, напишите им! Там херова туча данных генериться ежемикросекундно. А ещё можно (для астрономов всяких) каналы для отслеживания того или иного небсного тела, стучитесь в исследовательские станции. А ещё можно сделать отслеживание TOP запросов и словосочетаний с поисковых систем (привет маркетологи :D) А ещё можно, сделать распределённую нейросеть, я создам 1000500 ботов каждый из которых будет нодой все ноды будут передать другдругу данные и сеть будет учиться сама по себе основываясь на данныз от других потоков SKYNET я рожу тебя :D А ещё можно предложить госорганам разместить каналы о всех изменениях в законодательстве, социальные оповещения, оповещения о состоянии дорог, объектов и тп. Стучитесь в структуры. А ещё можно в игровую индуствию заглянсть и разместить трансляцию открытых игровых верверов/матчей. А ещё ... ::D

Dron ★★★★★ ()
Ответ на: комментарий от day4ree

отправлять данные кредиток

ну почему сразу кредиток, тот же трекинг автотранспорта например

Вся суть конкурса - в Ваших идеях.

т.е. у вас есть идеи но вы нам не скажете, или у вас нет идей? у меня вот нет идей. я бы сам сотку заплатил, если бы мне кто адекватный пример бы привел

вычислительные ресурсы бесплатных ботов ограничены, так же как и доступ в Интернет.

а платно, сколько стоит поддость парочку сайтов?

nebelig ()
Ответ на: комментарий от nebelig

:D Не ну правда, идеи есть, но вот далеко не все реализуемы вот так прям в лоб и никто не даст гарантий что оно выстрелит, а выстрелить должно то что не само по себе полезно, а полезно для привлечения других. Нужно стримить такие данные которые будут полезны/интересны/выгодны другим. Вот в чём соль. Я сейчас ради фана попробую кой что, запустить, хоть пойму как работает, а вообще я тут за 1к$ не могу найди работу, а тут мильёны обещают :D Тут надо бы коонкурс там объявить, заявки принимать и прочее, а так... Нам понравиться поддержим, не понравиться гуляй. Это как лотерея, а мы знаем кто всегда выигрывает в ней ;) Но всё же будем оптимистами, чел что сейчас возможно делает какуюто непонятную штуку вдруг получит письмо «Поздровляем вы выиграли пол лимона!» .... Вздохнув со словами , «опять спам», удалит письмо и пойдёт на огород картошку окучивать :D

Dron ★★★★★ ()
Последнее исправление: Dron (всего исправлений: 1)

Перное - у вас нет нигде явного указания того сколько идёт премодерация канала и второе у вас нет нигде указания на коды ошибок. Вот получил человек -92 код возврата и всё, сиди в астрал гляди что случилось. А случилось то что канал ещё не доступен публично.

Dron ★★★★★ ()
Ответ на: комментарий от day4ree

Подтверждение доставки есть, его можно включить или выключить в настройках соединения.

доставки подписчику? а если их сотня, если один (или все) отвалился? если сообщение сохраняется в очереди, то что будет когда она переполнится (и сколько это).

Deleted ()
Ответ на: комментарий от Dron

Перное - у вас нет нигде явного указания того сколько идёт премодерация канала

Спасибо, исправим.

у вас нет нигде указания на коды ошибок. Вот получил человек -92 код возврата и всё, сиди в астрал гляди что случилось. А случилось то что канал ещё не доступен публично.

Можете, пожалуйста, более подробно описать, что Вы делаете? У нас вроде бы все сообщения об ошибках приходят в json формате:

{«action»:«rtm/subscribe/error», «body»:{«error»:«invalid_format» ... }}

Тут надо бы коонкурс там объявить, заявки принимать и прочее, а так... Нам понравиться поддержим, не понравиться гуляй. Это как лотерея, а мы знаем кто всегда выигрывает в ней ;) Но всё же будем оптимистами, чел что сейчас возможно делает какуюто непонятную штуку вдруг получит письмо «Поздровляем вы выиграли пол лимона!» .... Вздохнув со словами , «опять спам», удалит письмо и пойдёт на огород картошку окучивать :D

Я в целом понимаю, о чем Вы говорите: о доверии к проверяющим. Но не знаю, что с этим делать. :) У Вас есть представление, чего именно не хватает? Мне трудно представить какой-то полностью формализованный критерий победы, и он действительно будет несколько субъективен. Потому что таких конкурсов мы не проводили раньше, и пока что не понятно, какой набор метрик может однозначное определить «Most Impactful». Если бы был однозначный критерий - можно было бы нарисовать табличку с total score всех участников и тогда все было бы более прозрачно.

day4ree ()
Ответ на: комментарий от Deleted

доставки подписчику?

На стороне отправителя можно получать подтверждения о доставке до системы. На стороне получателя можно получать подтверждения, что вы ничего не пропустили из того, что вам отправляют с начала подписки.

Но нельзя получить на стороне отправителя синхронное подтверждение, что все получатели получили свои сообщения.

day4ree ()
Ответ на: комментарий от day4ree

На стороне отправителя можно получать подтверждения о доставке до системы.

вот, а значит они в системе хранятся, и тогда возникает вопрос:

если сообщение сохраняется в очереди, то что будет когда она переполнится (и сколько это).

Deleted ()
Ответ на: комментарий от Deleted

вот, а значит они в системе хранятся

На данный момент мы имеем некоторую историю в каналах, но она исчисляется в лучшем случае минутами. Наш основной юзкейз — доставка сообщений в реальном времени.

staseg ★★★★★ ()
Ответ на: комментарий от staseg

вот, это какраз то чего мне не хватало в свое время в готовых решениях 8( пришлось городить «переполняемые» очереди

исходный код у вас есть или это чистый PaaS (то бишь вы предоставляете платформу лишь в аренду)?

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

PaaS. Открыт протокол и исходники SDK (C, Go, Java, Python).

staseg ★★★★★ ()
Ответ на: комментарий от day4ree

У Вас есть представление, чего именно не хватает?

Тут да соглашусь, тут нельзя сказать мол нам надо вот так и вот эдак и вы победили, но можно намекнуть например => «Даже если ваш канал не популярен вы можете выиграть так как у нас цениться качество, а не популярность» или «Больше шансов на победу у тех кто ореентирован на то что его канал будет использоваться массово сторонними ресурсами, это неопределяющий но важный критерий» или «Победить может любой коммиссия определит победителей исходя из соображений внутренних интрересов компании». И да в целом я понимаю что цель вовсе не в том чтобы найти 4 канала которые будут интересны с разных пранов и поддержать их разделив миллион, а в том что бы люди (меркантильные в большинстве своём) попытались и подняли некий хайп вокруг этого. А тут и будет главное, известность, люди, вопросы/проблемы, гуглёж, и так далее по накатной, вполне здравый маркетинговый план ::)

Возьмите меня на работу я вам буду каждый день придумывать, как можно применять и с чем можно интегрировать вашу плюшку, а ваша команда мозгового штурма будет мои безграничные идеи отсеивать или одобрять назначая исполнителей на удачные идеи :D

Dron ★★★★★ ()
Ответ на: комментарий от day4ree

Спасибо за issue. :)

Да не за что, я тоже надеюсь скажу спасибо когда мне там ответят и ткнут носом мол «вы батенька делаете не так» или «ой ща поправим». Склоняюсь к первому.

В описании топика есть описание вакансии

Эхx (томный вздох), моих знаний для удволетворения вакансий ровно NULL, я даже в английский не могу, чё уж там :D

Я таки попробую срубить у вас поллимона когда заведу свою шарманку, когда мне ответят на иссульку, а на вырученные деньги буду делать много хорошего... короче я уже всё распланировал :D (и нет я не тролю просто настроение хорошее, с праздником).

Dron ★★★★★ ()
Ответ на: комментарий от day4ree

Совсем забыл, у вас на сатори в профиле нельзя аватарку себе поставить, непростительно :D

Dron ★★★★★ ()
Ответ на: комментарий от day4ree

О, Илья, здравствуйте, приятно видеть земляков, скажите, а почему erlang'а нету? Любовь к нему прошла совсем?

hiend ()
Ответ на: комментарий от hiend

а почему erlang'а нету? Любовь к нему прошла совсем?

Да, завяли помидоры. :)

day4ree ()
Ответ на: комментарий от day4ree

в хаир и с++ тоже требуются) а в описании вакансии на лоре только ява, кому верить больше ?

voipdev ()
Ответ на: комментарий от pkurg

А можно просто получить $ 500,000 без всей этой мороки.

«Корень всех зол есть сребролюбие». 1-е послание святого апостола Павла к Тимофею 6, 10.

user_ ()
Ответ на: комментарий от voipdev

в хаир и с++ тоже требуются) а в описании вакансии на лоре только ява, кому верить больше ?

И то и то верно. Я лично заинтересован в найме Java разработчиков, потому что ищу непосредственно в свою команду. В целом наша компания нанимает и С++ разработчиков тоже.

day4ree ()
Ответ на: комментарий от day4ree

как по с++ вакансии узнать больше чем написано в шаблоне на сайте ?
может есть русско язычно говорящие ребята которые уже в берлине по ней работают ?
понять мое/не мое или может моим знаниям-умениям можно найти практическое применения у вас

voipdev ()
Ответ на: комментарий от Dron

А ещё можно предложить госорганам разместить каналы о всех изменениях в законодательстве, социальные оповещения, оповещения о состоянии дорог, объектов и тп.

А вот это, кстати, стоящая идея.

hobbit ★★★★★ ()
Ответ на: комментарий от hobbit

Я было хотел http://government.ru там или/и http://www.nalog как то парсить или что-то подобное делать вытаскивая то или иное, но поленился. Но тут да непочатый край данных много они переодически обновляются и интерес к ним есть у многих.

Но ещё есть у меня одна идея насчёт применения этой satori, ещё большая и в перспективе нереально профитная приносящая миллионы денег и тонны пользы с растущим комьюнити с активному ростущему спросу ко всем каналам и спросу создания новых. Но сам я не осилю эту идею реализовать, а сказать в чём её суть жаба душит day4ree, давайте я вам идею продам, стоимость 1500000 рублей :D, это всего то 1/56 от общей суммы на призы которые вы раздадите )).

Dron ★★★★★ ()
Ответ на: комментарий от Dron

Мной вышесказанное не является публичной оффертой.

Dron ★★★★★ ()
Ответ на: комментарий от voipdev

Привет. Я плюсовик из берлинского офиса. Отправь нам пожалуйста своё резюме, мне на sfrolov@satori.com, cc iroslyakov@satori.com, это ТС. Туда же можешь писать всякие интересующие вопросы.

Я вернусь из отпуска в начале следующей недели, поэтому не жди прямо моментального ответа :)

staseg ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.