宮迫博之、「アメトーーク!」での復帰断念の裏事情