LINUX.ORG.RU
Форум — Development  

[benchmarks] Ведение статистики.


0

1

Организованы автоматизированные «ночные» сборки программы для всех сочетаний вариантов сборки (Debug, Release и т. д.), целевых платформ (Linux/Windows) и архитектур (x86, x86_64), компиляторов (GCC, CLang, mingw32). Результаты сборки, прогона тестов, анализа покрытия кода тестами и анализа программы на утечки памяти отсылаются на сервер, на котором поднят CDash.
Помимо тестов имеется также набор benchmark'ов, которые ничего не проверяют, а лишь оценивают работу программы, выдавая набор некоторых величин.
Есть ли какие-нибудь готовые инструменты, подобные CDash, только для benchmark'ов, позволяющие вести статистику по результатам benchmark'ов, в том числе и по нескольким веткам программы одновременно, с возможностью сравнения параметров между ветками и просмотра графиков изменения параметров во времени?


← [не бейте] Не работает graph в фри паскале
gcc, eclipse, консоль, русский, UTF, кодировка →

Организованы автоматизированные «ночные» сборки программы для всех сочетаний вариантов сборки (Debug, Release и т. д.), целевых платформ (Linux/Windows) и архитектур (x86, x86_64), компиляторов (GCC, CLang, mingw32)

офигенно. а как?

seed_stil ★★
()
Ответ на: комментарий от seed_stil

Организованы автоматизированные «ночные» сборки программы для всех сочетаний вариантов сборки (Debug, Release и т. д.), целевых платформ (Linux/Windows) и архитектур (x86, x86_64), компиляторов (GCC, CLang, mingw32)

офигенно. а как?

cmake + ctest + cpack + cron

Инициализированы каталоги сборки для нужных сочетаний платформы/архитектуры/компилятора/типа сборки путём вызова cmake c указанием требуемых CMAKE_BUILD_TYPE и CMAKE_TOOLCHAIN_FILE. При этом, правда, пришлось поднять соответственное количество рабочих копий, чтобы ctest вёл корректную статистику по обновлениям. После этого по cron'у ежедневно (в обеденный перерыв :)) выполняется примерно следующее: 

for i in $BUILDNAME
do
	pushd $i;
	ctest -D Nightly -T all
	rsync -r build/doc/html/* $USERNAME@$CDASHSRV:/var/www/doxygen/$i
        cpack
	rsync -r build/packages/* $USERNAME@$CDASHSRV:/var/www/dist/$i
	popd
done

SSN
() автор топика
Ответ на: комментарий от kdev

4 os надо бы (win/linux/32/64) ну 2 (если vm), так? то есть машины , или reboot next os ...

Не обязательно. Для windows программа кросскомпилируется из под линукс. binfmt_misc настроен таким образом, что при запуске в оболочке exe файла, он автоматически запускается посредством wine. Поэтому с запуском тестов проблем нет. NSIS также замечательно работает из под линукс, поэтому с созданием инсталлятора под Windows проблем так же нет. Периодически (гораздо реже) сборка всё-таки проверяется и в Windows (были редкие случаи, когда результаты расходились с wine). С остальными вариантами ещё проще...

SSN
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← [не бейте] Не работает graph в фри паскале
Development
gcc, eclipse, консоль, русский, UTF, кодировка →