Например, если поставить Apache Ignite перед какой-нибудь быстрой БД (Mongo, Couchbase, или какая-нибудь современная RDBMS типа Oracle) для persistent store, и воткнуть на сервер побольше оперативки, да еще и будешь класть тупо putIfAbsent, то оно выдаст тебе совсем фантастический перфоманс
поставить Apache Ignite перед какой-нибудь быстрой БД (Mongo, Couchbase, или какая-нибудь современная RDBMS типа Oracle) для persistent store, и воткнуть на сервер побольше оперативки
Тебе подойдет AppendFile на любом языке. В зависимости от хардов может позволять тысячи и тысячи инсертов в секунду.
А теперь ставим эти инсеты параллельно, с залочкой файла. На фрагментированный HDD. И в количестве хотя бы 100 тыс. штук по 100 байт (10Мбайт, внезапно) и твой AppendFile превращается в тыкву.
…
Я с таким с большим удивлением столкнулся ещё в 2000-м. До этого тоже наивно считал, что простые файлы быстрее сложных БД :D
десятки инсертов в секунду - это любая БД. вопрос в объёме данных. когда объём значителен (терабайты, например), то тогда уже не любая. так что смотря сколько ты собираешься писать, из скольких клиентов (если нужна параллельность, например, и консистентность при горизонтальном масштабировании).
Да, десятки (лучше более 100 конечно) это в одну таблицу. Таблиц будет штук 30 точно. Писать постоянно и без остановки. Устаревшие данные удалять, чтоб не росло терабайтами, ну например по дате. В 1 таблицу будет писать 1 клиент.
но все равно хотелось бы чтоб посылали конкретнее - где и что читать, а не только найдите DBA
Что почитать: Database Administration книги по всем современным СУБД.
Пройти курсы DBA для начинающих, потом курсы DBA Advanced.
Понять что ответа на твой вопрос нету в 2 строчки и это большая комплексная работа. Если не хочешь ею заниматься - бери любую СУБД, дельного с таким подходом тебе никто не посоветует ничего.
Дальше 3 варианта: 1. Проект говно, умрет сам, еще до начала проблем с БД 2. Проект ниче так, но явно не сильно зависящий от ресурсов БД, будет жить на чем угодно и проблема явно преувеличена. 3. Проект будет на грани краха в самый неподходящий момент, вы все равно обратитесь к DBA, но получите больше геммороя, нервов и потратите существенно больше денег, чем приняв это решение сейчас.