Доступ к Spark из приложения C++

Если речь про https://spark.apache.org/ то прямой и почти единственный вариант - дёргать его java api из C++.

Спасибо! пойду изучать :)

Напиши приложение на java и общайся с ним из плюсового с помощью пайпа.

Необязательно даже на Java, можно взять любой JVM-язык, например, Groovy. Или даже какой-нибудь PySpark. Смотря на чём удобнее писать или для чего есть похожие примеры.

Спасибо! Действительно, а ведь можно использовать прослойку и пайп.

С Java я попытаюсь не столкнуться, а вот питоном и PySpark пользовался. Просто решил использовать основное приложение, а оно на C++.

Интересно, а можно ли использовать не пайп, а вызвать питон как встроенный модуль и внутри него уже pyspark? И на всякий, в отдельном потоке.

Если очень хочется усложнить жизнь себе и окружающим, то можно, разрешаю.

Советую посидеть и подумать над архитектурой. Скрипты должны дёргать код на C++, а не наоборот.

Ну вот забыли spark-строители положить в комплект OCI.h, приходится велосипедить.

Если бы существовал такой .h, то под капотом равно был бы вызов внешнего процесса с обменом через пайп или сокет

Уже обжегся с питоном - сделал приложение BI веб-морду к кластеру хадупа. По-первости всё классно, всё готовое, всё есть. Датасеты/датафреймы/пандасы работают. А потом получил нерешаемые проблемы с производительностью и многопоточностью. Как обработки так и веба. Может, конечно, неопытный, но я не понял как из одного процесса получить доступ к данным другого. Мультитрединг питона не катит- это асинхронщина в один поток.

Действительно. Что-то вроде extproc (внешний процесс оракла для загрузки so), простите за профдеформацию :)