小室圭さん、宮内庁に国外追放されていた模様