Если не будет 5V порт вообще не будет работать. Или 5V, или тишина.
Просадка во время зарядки исключена, не та нагрузка, мизер. А больше чем 5V-500mA из него не высосешь хоть заперемыкайся перемычками каким-то. Даже подключив через хаб несколько потребителей суммарный ток все равно будет равен 0,5А разделенный между ними.