手越祐也さん、ついに追放へ