Коллекции аудио компакт-кассет. Заново...

Если память не изменяет, то это как раз с внешним РФ. Без него он реально дает 0,005%, (можно добиться 0,002-0,003%, но нестабильно) причем только на одном из поддиапазонов - на других больше. Я только что такой ремонтировал.
И это между прочим один из двух отеч. "железных" генераторов с сверхнизким Кг, (есть еще белорусский 124ый вроде  90х гг, там встроенный фильтр и немного лучшие рез-ты), а так ближайший по качеству Г3-102 - 0,02% и выше.

Теоретически многие карты имеют ДД 130-140дБ... Шкала позволяет как бы (математически)  
Но реально ограничивают каскады ввода-вывода, окружающая среда, наводки, величина пульсаций питания в компе, и алгоритм аппроксимации (реализация цифровых фильтров АЦП-ЦАП).

Но тут вопрос не в Кг генератора, а полученных искажениях с магнитофона при уровне записи 0дБ... Значение искажений получилось ниже уровня шума, чего быть не может. (Вы же сами измеряли выше и получали значение шума в 4,8мВ).  

Попробуйте измерить каким-нибудь аппаратным ИНИ или тем же самым АМБЕРом, подав сигнал с компа на вход деки.