英語に興味を持って段々と耳を英語に慣らしていけば何とか少しは分かるようになります。

一人旅、私も大好きです。
英語が分かると怖いもの無しで何処でも大丈夫ですよね。
私も英語は苦手ですが海外では日本人のいない宿泊を伴う数泊のツア－に参加すると耳が英語に慣れてきて自然と分かるようになります。
ツア－メイトも話しかけてくるので英語を話さないといけない状況になり怖さも不安も無くなるのが不思議です。
英語が好きでなくても英語に興味を持ち単語も少しずつ覚えて上記なような状況に身を置いて海外旅行を楽しんで下さいね。