А ты прилинкуй /dev/ttyS...(0-3)на каком порту у тебя модем-1 в /dev/modem и уже открывай его, кстати /dev/cua1 - это не первый порт а второй (может просто циферки напутал?)
Дикий кот 5.2 с КДЕ - там есть тест модема - он этот тест проходит и правильно показывает содержимое регистров модема. При попытке законнектится даже не набирает номер и не мигает лампочками.