Вы будет всю жизнь об этом жалеть. Занимайте деньги, отдавай их свекрам и переезжайте к себе в квартиру. Никогда не поздно все отменить. 

У меня было тоже самое, муж просил переехать в дом свекрам, а они в нашу квартиру, я отказалась, он на меня долго давил, но я потом чтоб все же не уступить, сказала ему - "Ты меня хочешь толкнуть на грех? Я буду жить в доме свекров и ждать их кончины чтоб вернуться в нашу квартиру?".  После этого он от меня отстал. И больше к этой теме не возвращались.

А ваши свекры манипуляторы еще те. И вам не будет жизни в их доме.