Generell würde ich mal einen anderen VoIP-Anbieter testen.
Modem über VoIP habe ich schon kurz nach Erscheinen der FBF ATA mit 14.400 hinbekommen, damals ging es über UI (damals bei GMX) noch. Das war nur testweise, ich habe in dem Institut, in dem ich damals gearbeitet habe, die FBF als ATA ans Uninetz geschaltet und mich über ein Modem in meinen Dial-In Zugang eingewählt. War ein Experiment, obs geht, praktisch machts natürlich keinen Sinn, bei damals schon vorhandenen 100Mbps symetrisch über das Wissenschaftsnetz über den zentralen Austauschknoten zum kommerziellen Inernet ins Telefonnetz zu gehen, um sich dann mit 14,4 kbps wieder ins Uninetz einzuloggen. Funktioniert hat es aber.
"geht nicht" ist also eine etwas pauschale Aussage, es kommt a) auf die Latenz des Internetzugangs an, b) auf die Auslastung des Providers, c) auf den Codec und d) auf die Einstellungen beim Provider.
Eventuell ist auch T38 das Problem, wenn es angeschaltet ist, werden Datenverbindungen möglicherweise als Fax behandelt, auch wenn sie es nicht sind.
Echte Modemverbindungen sind aber was anderes als Fax, hier ist alaw oder ulaw (also unklomprimierter Codec) als reine Sprachverbindung angesagt.
Der erste Test wäre also, T38 mal abzuschalten und Telefonie in Festnetzqualität erzwingen.