井上公造氏、芸能事務所からの圧力「記憶にない」