前置詞toの基本イメージは「→（やじるし）」で方向を示します。
forも「→」で方向を示しますが、toは目的地までたどりついた状態まで意味します。
forは向かっているに過ぎません。
listen to のtoは耳と音源が繋がっている感覚。
forはそちらに耳を傾けているイメージです。
■参考文献
・「ハートで感じる英文法 決定版」大西泰斗/ポール・マクベイ (著) NHK出版 2018/08/10
前置詞toの基本イメージは「→（やじるし）」で方向を示します。
forも「→」で方向を示しますが、toは目的地までたどりついた状態まで意味します。
forは向かっているに過ぎません。
listen to のtoは耳と音源が繋がっている感覚。
forはそちらに耳を傾けているイメージです。
・「ハートで感じる英文法 決定版」大西泰斗/ポール・マクベイ (著) NHK出版 2018/08/10