Ничего не повредит, так-как Вы получаете сигнал с звуковой карты, а не подаете на нее, стандартный линейный выход имеет напряжение ~200 мв, на звуковой это напряжение может быть ~700 мв. и этот сигнал подается на вход усилителя.