Во-первых, режим транзистора будет плавать от температуры, как ему захочется. Особенно, если питание порядка 10 – 12 вольт. Если учесть, что пороговое напряжение транзистора около 3 – 4 вольт, то его влияние будет весьма заметным.
Во-вторых, нормальная работа LM317 возможна при напряжении на ней порядка 3 -4 вольт, при пиках сигнала велика вероятность значительных искажений.
В-третьих, выходной ток микросхемы (петлевое усиление) зависит от частоты и от напряжения на микросхеме, особенно это проявляется на повышенных частотах.
Поэтому: схема должна быть охвачена ООС по постоянному току, напряжение питания должно быть не менее 20 – 25 вольт, источник тока надо преобразовать в каскодный (а лучше, вообще отказаться от LM317).

С уважением.