Пилю управление компом на онтопике при помощи отслеживателя взгляда (Tobii REX). Координаты взгляда шумят, поэтому даже после ликвидации систематической ошибки и усреднения последних показаний точность все же не огонь. Хочется как-то ему помочь.
Как можно получить список координат всех кликабельных виджетов на экране без костылей типа screen scraping и распознавания образов? Выбирать из вариатов будет проще, чем попадать в кнопку. Интересуют qt, gtk, что там у firefox.
Возможные направления мысли, где этой инфой можно поживиться: accessibility, колупание в стиле GTK Parasite.
Никто не ковырялся c инструментами, которые бы это могли? Подскажите что-нибудь.
