渋沢栄一、誹謗中傷を受けてしまう…