1. Уровень на S/PDIF ни на что не влияет, оно либо работает, либо нет.
2. Еще раз - поставьте пожалуйста нормальный софт типа Спектраплюса.
3. Вам второй раз говорят о перегрузе карты. Или подать трек с -10dBFs, или трек 0dBFs, но выход ЦАПа уменьшить делителем, вот просто из двух резисторов, например что то 5..6кОм и 3...2кОм.