Не ушли. Писали Ивану грозному на старорусском и просили помощи (в то время русский язык уже изменился и написание на старорусском говорило о том что писал местный русскоговорящий анклав сохранивший язык еще с киевской руси.
Кстати Иван Грозный помог и прислал стрельцов И территории опять вернулись в Русь. Но после смерти Ивана Грознова в период смуты опять были оторваны как и многие другие земли.
