Наследование долей дома отказавшихся от наследования родственников

Являюсь по наследству собственником 6/8 долей жилого дома. Два наследника по 1/8 доли в шестимесячный срок заявили право о наследстве, но потом передумали, свидетельства о праве на наследство не получили, но и отказа не написали (т.е. фактически имели право без распоряжения). Данные наследники умерли, уже их наследники готовы отказаться от своих долей в мою пользу. Каков алгоритм действий «объединить» дом в мою пользу (никаких юридических действий по разделу дома не было, налоги все плачу я, всё время в доме были прописаны и проживали только я и мои дети). Необходимо ли будет обращаться в суд?