Отключил Тики в Сервер 2012. С латентностью стало получше. Средняя мало изменилась (была примерно 6-10, стала 5-9), а вот максимальные пики резко упали. За 2 минуты ранее был хотя бы один пик более 100-120 мкс, а теперь: 2 минуты - 40мкс, 5 минут - 60 мкс.

Вот статья с информацией по прыжкам "частоты" таймера _https://habrahabr.ru/company/intel/blog/186998/
Обычная частота таймера Виндоус 64 Гц, но некоторые приложения при запуске меняют частоту на другую. Причём если какая-то программа увеличивает частоту таймера, то это сказывается на поведении всей системы. Например браузер Chrome постоянно увеличивает частоту таймера 1000 Гц.

Вот возможная причина явления, когда при запуске браузера (или других приложений) одновременно с плеером меняется звук.