問題あると思いますよ。

たしか、一部の国ではICチップ付きのパスポートをVisa免除の要件にしていると思います。
それに、ICチップには顔写真の画像データが入っていますので、ICチップが読めないと偽造の疑いを解消できずに入国に時間がかかる可能性もあります。そもそも問題がなければICチップを入れる必要はありません。