結論から言うとbackendに、pollingを指定していたのが原因だった。
ちなみにFail2banのバージョンは「v0.10.2」
backend: 対象のログについての指定。 auto, pyinotify, gamin, systemd, pollingの5つから選択可能。 systemdを選択すると、systemdのjournalから情報を取得します。 autoはpyinotify, gamin, systemd, pollingの順番に情報を取得しますが、たまにgaminで失敗するそうです。 任意のログファイルを指定するのであれば、pollingを指定しておけば問題ないと思います。
by WordPressの不正ログインと不正中継メール送信をfail2banでbanしてみた - Qiita
どの記事をみて、pollingの設定をしていたのかは忘れたが、この値をautoにしたところ、ちゃんとIPをBanするようになった。
[追記]
systemdが選択されるとlogpathは無視してjournalmatchを使ってどのログファイルを監視するかを決める
↑ systemdを選択するときは注意が必要そう。。。。