JavaFX8 официально заявляет поддержку HiDPI, но эта самая поддержка сильно зависит от окружения. Swing, емнип, объявлен deprecated и его разработка прекращена.
hidpi начинается с DPI 150 и выше, хотя Джобс говорил про более высокие цифры. У меня, к примеру 187. В идеале, масштабировать что-то в пикселях не надо, всё должно быть в векторе и процентах. Не знаю, как у Java GUI на десктопе с этим.
Более крутые и коммерческие программы на Java ведут себя как Хром: читают DPI из Иксов и следуют ей. Программы попроще можно исправить одним из двух аргументов: -Dsun.java2d.uiScale=2 увеличивает интерфейс в 2 раза, а -Dswing.defaultlaf=com.sun.java.swing.plaf.gtk.GTKLookAndFeel велит ей пользоваться для отрисовки размерами из GTK. Напомню, что в .xprofile можно создать переменную