LINUX.ORG.RU

Система приемочного тестирования

 , ,


0

1

Есть фирма, производящая приборы. Приборы представляют из себя железки с камерами, на которых крутятся под Линухом некие сервисы.

Сейчас тестирование перед отправкой производится людьми и хочется все это дело автоматизировать, чтобы уменьшить человеческий фактор. К сожалению, не все тесты могут проводиться автоматически. Нужна такая система, в которой человек сможет для прибора прогнать тесты (все сразу или по очереди) и отчитаться о ручных тестах (возможно, приложив фото или какие-то данные). Если все тесты пройдены, можно релизить - распечатать отчет и засунуть его в коробку с прибором. Если тесты не прошли, прибор отправляется на доработку и возвращается в тестирование с самого начала.

Сейчас стоит выбор: взять что-то готовое или велосипедить что-то свое. Собственно, вопрос - есть ли готовая система, которую можно заточить под наши нужды? Jenkins и Bamboo не подходят. Сейчас смотрю QAComplete, но пока не могу с ним разобраться.

Это какие же тесты нельзя провести автоматически?

Goury ★★★★ ()
Ответ на: комментарий от Goury

Допустим, тест на прием gps. Фокусировку камеры тоже не проверить, ибо нужно анализировать видеопоток.

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

А что мешает автоматизировать эти тесты?
Программный автофокус в мыльницах уже больше десяти лет как придуман, приём гпс так вообще как нефиг делать проверяется.

Если объёмы такие, что настало время уменьшать человеческий фактор – уменьшать его надо насовсем.
А если не такие, то нечего тратить время на разработку бесполезного, нанять ещё одного-двух гоблинов и пусть работают руками.

Goury ★★★★ ()
Ответ на: комментарий от Goury

Не все можно таки автоматизировать, ибо для некоторых тестов нужна подготовка и во время теста необходимо проводить манипуляции.

panter_dsd ★★★★ ()

слабо понимаю о чем ты вообще, по описанию тебе нужен testlink

vostrik ★★★☆ ()
Ответ на: комментарий от panter_dsd

Ну да, подготовка, в розетку воткнуть и кнопку нажать, куда уж без этого.

Goury ★★★★ ()

Как насчет гуглодока с последовательностью форм?

  • Автофокус ок? [Y/N]
  • GPS ок? [Y/N]
  • ...

А на выходе отчет с графиками и галочками. Збс?

anonymous ()
Ответ на: комментарий от Goury

Если объёмы такие, что настало время уменьшать человеческий фактор – уменьшать его надо насовсем.

чушь какая

vostrik ★★★☆ ()

с железками я не знаю. Но для примочного тестирования ПО используем fitnesse

RoninDev ()
Ответ на: комментарий от RoninDev

Смотрел я этот фитнесс - не впечатлило. Сейчас разбираюсь с TestRail, Squash TM и QAComplete. Вот только все больше убеждаюсь, что придется таки свое писать. :(

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

Когда первый раз смотрел фитнесс меня тоже не впечатлило... но потом

RoninDev ()

ИМХО, лисапет.

Deleted ()
Ответ на: комментарий от panter_dsd

тест на прием gps.

По готовности будут координаты.

Фокусировку камеры тоже не проверить

А как по-твоему работает автофокус во всевозможных камерах? Сидит маленький китаец и анализирует видеопоток?

anonymous ()
Ответ на: комментарий от panter_dsd

куда интереснее на чем вы тесты пишете и еще интереснее - чем запускаете. если, к примеру, это CI с дженкинсом - то действительно вкорячить тестлинк и всего делов. если свой велосипед - то надо смотреть, насколько он расширяемый.

vostrik ★★★☆ ()
Ответ на: комментарий от Goury

ok, распишу: уменьшение человеческого фактора «насовсем» любой ценой - бессмысленная трата ресурсов и прямой путь к затягиванию сроков. расширение тестового фреймворка и автоматизация собственно кейсов может стоить нескольких месяцев работы сеньор девелопера. дополнительные траты на прогон нескольких ручных кейсов (при том, что в любом случае должен быть человек который поддерживает существующие тесты и занимается анализом их результата) - час или два работы тестера, при релизах раз в неделю, например. итого окупится эта автоматизация любой ценой года через 2, это без учета того, что сеньор девелопер еще и отвлекается от основной работы.

vostrik ★★★☆ ()
Ответ на: комментарий от vostrik

Пока не пишем. Все пошло от того, что у нас 80% возврата, начальство решило, что это отдел тестирования плохо работает, соответственно, необходимо снизить человеческий фактор. А мне поручили это все разработать. Вот теперь изучаю вопрос.

panter_dsd ★★★★ ()
Ответ на: комментарий от vostrik

Ок, но в данном случае всё же следует автоматизировать фокусировку и геолокатор, иначе всё это не имеет смысла.

Goury ★★★★ ()
Ответ на: комментарий от panter_dsd

Для начала стоит не начальство слушать, а на причины возвратов посмотреть. Наверняка проще и полезней будет укрепить слабое звено, чем городить новый отдел.

Goury ★★★★ ()
Ответ на: комментарий от panter_dsd

тогда хз, выбор test management system обычно делают на основе того, как организован процесс тестирования. а если процесса нет - не рано ли ты заморачиваешься выбором?

vostrik ★★★☆ ()
Ответ на: комментарий от RoninDev

Тут железка, так что, планирую писать тесты на разных языках (python, с++, java), кому как удобнее. Планируется, что все разработчики будут писать тесты. :)

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

FitNesse написан на Java. Основателем проекта является Роберт Мартин. Первые версии программы поддерживали только Java, но со временем поддержка расширилась до множества других языков (C++, Python, Ruby, Delphi, C#, etc.)

Тесты в очень удобном формате, так что создать тест сможет, например како-нибудь менеджер, на основе созданных. Удобно.

RoninDev ()
Ответ на: комментарий от RoninDev

А есть такая возможность: притащили новую железку, создали для нее задачу, в ней добавили несколько тестов и прогнали их, потом еще несколько тестов добавили и прогнали их, потом сформировали общий отчет.

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

ты, наверное, догадывался, что следующим вопросом будет вопрос что собой представляет чеклист и насколько там сложные сценарии?
ну и как часто девайсы вообще необходимо проверять

vostrik ★★★☆ ()
Ответ на: комментарий от vostrik

Как я понял, процедура такая:

  • Приносят девайс
  • Осматривают его снаружи
  • Проверяют включается ли он вообще
  • Залезают на него по ssh и делают некоторые настройки
  • Устанавливают на стеллаж на 5 суток, в течении которых периодически закидывают по ssh скрипты, запускают их (проверка дисков, проверка вентилляторов и т.п.) и анализируют полученные данные.
  • Проверяют камеру, для этого выставляют нужное освещение и анализируют изображение.
  • Делают еще какие-то тесты, для некоторых вообще вытаскивают девайс на крышу.
  • Выставляют нужные настройки и отправляют на поверку.
panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

Если я правильно понял, то речь идет о групперовке тестов? В fitnesse есть понятие Suit. И вообще там возможно выстраивать целую иерархию тестов, тоесть группы, подгруппы, в них еще и еще. Можно выполнять все отдельно, можно группами.

Кстати там еще есть разнообразное наследование, инклуды и прочее, для облегчения создания новых тест кейсов

RoninDev ()
Ответ на: комментарий от panter_dsd

с такой скоростью - бери любой вариант. лишние 5 минут возни на оформление тестов и их результатов не критичны, имхо.

vostrik ★★★☆ ()
Ответ на: комментарий от RoninDev

Как я понял, понятия пользователей нет. Или я просто не нашел?

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

Это для разграничения прав пользовтелей самих тестов? Необходимости в этом не возникало. Если только посмотреть кто сделал этот тест и когда, но все тесты лежат под контролем версий и проблем с эти нет.

Сейчас глянул, да, скорее всего нет такого понятия. Но никто не мешает его добавить =) (https://github.com/unclebob/fitnesse)

P.S. Я особо не всматривался, это не то?

RoninDev ()
Ответ на: комментарий от RoninDev

Меня интересует именно отметка о том, кто правил/создавал страницу.

panter_dsd ★★★★ ()
Ответ на: комментарий от panter_dsd

Замечательно!

На самом деле FitNesse крутая система. Только ее надо распробовать

RoninDev ()
Ответ на: комментарий от RoninDev

Что-то не то, все таки. Указал ему файл с пользователями, он его подхватил, но в интерфейсе нет ничего похожего на логин. :( И что-то доки по фитнессу мне не нравятся - как-то мало написано.

panter_dsd ★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.