Видимо это тот случай, о котором так долго говорили большевики
По простому: при отключении ЦФ большое количество ВЧ помех лезет в усь. Обычным классическим усям плохеет и все это слышно.
Лучше всего это переносят ламповые уси и уси безОООС. У Саши Nemo как раз ламповый усь.
Т.е. надо ставить до уся хороший фильтр, режущий все от 20кГц. Кстати, именно для решения этой задачи и ставят ЦФ.
Первое, что видится - ламповый буфер (хорошо бы с трансом) или трансформаторный выхлоп ЦАПа.