EC2インスタンスにパブリックIPが一度でも割り当てられてしまうと、手動で解除することはできません。これはサブネットのパブリックIP自動割り当てを無効にしインスタンスを停止・起動した場合や、IGWを削除した場合でも同じです。
IGWを削除しておけば、インターネットとの通信は遮断されるためセキュリティ上問題ありません。ですがEC2インスタンスの設定内容にはパブリックIPの記載が残ってしまうため、見栄えとしては少し気になります。
どうしてもパブリックIPの表記を削除したい場合は、対象インスタンスのAMIを作成し複製インスタンスを同サブネット内に配置します。パブリックIPの自動割り当てを無効にしインスタンスを再作成することで、パブリックIPの表記を削除することが可能です。