В моей жизни была схожая ситуация.Мать умершей дочери претендовала на внука,оставшегося с отцом.Был и суд и скандалы.Поначалу зять давал ей мальчика на выходные,разрешал забирать ребенка из садика,но со временем зять нашел женщину и собрался женится,тут такое началось,в общем даже хуже чем у вас.Зять забрал сына,женился и уехал жить в другое место.Она его искала,ходила по всем инстанциям но так и не нашла.Я думаю,что вам стоит об этом подумать,а дом можно продать и купить другой в новом месте.Дети подрастут,станут взрослыми,пусть сами решат общаться с бабулей или нет.А пока лучше врозь,я так думаю.