飯塚幸三、徐々に追い詰められる