元競泳日本代表、五輪開催中の選手を心配「反対意見が出続けて危険が及ばないか」