Штатными средствами Windows 2000, Windows XP, Windows Vista и Windows 7 невозможно создать разделы FAT32 более 32 ГБ, однако, с такими разделами возможно работать, если они были предварительно созданы в других ОС. Причина этого заключается в том, что, по мнению Microsoft, при увеличении размера тома FAT32 выше 32 ГБ резко падает производительность, и что более подходящее решение — использование NTFS, то есть родной формат файловой системы для Windows 2000 и Windows XP.
Можно запустить через strace и может что-то будет понятнее.
Вобще, вроде, первый после монтирования файловой системы вызов df для fat32 должен быть медленным, а остальные быстрые, независимо от опции "-h". Там были заморочки с тем, что винда не обновляет одно из полей в заголовке ФС, поэтому ядро Линукса считает свободные блоки, была опция монтирования «usefree».
Может у вас это раздел всё время монтируется/отмонтируется поэтому одни df быстрые, а другие медленные?