見えないところから視界に入ってくるようなアニメーションがカメラに映らないときの対処をしてみました。
デフォルトではカメラに映っていない時にアニメーションが再生されないので、横からキャラクターが視界に入り込んで来るようなときに動きがおかしくなります。壁があるかどうかは関係ないようです。
カメラが少し左を映しているとアニメーションが再生されず、右に戻すと急にキャラクターが表示されます。
これはアニメーターコンポーネントのCulling ModeをAlways Animateにすると治りました。