Даже в спокойном состоянии магнит испытывает определенную нагрузку и Вы это могли ощутить при попытке поставить его на свое место т.е. отцентрировать, правильно писали выше, клей должен быть надежный предназначенный именно для таких целей и время высыхания соблюдено.