何度も面接調整をしている人を、面接なしで断っていいですか？

面接の案内の際、あらかじめ、予定している日時を変更されると、今回のご応募について見合わせていただく可能性がある、ということを伝えていれば、問題ないです。

もし伝えていない、ということでしたら、「状況が変わって、候補者が決定したため、今回のご応募についてはご期待に添えない結果となりました」という通知をして、お断りされてはいかがでしょうか。中には「なぜ面接してくれないのか」と粘って来る応募者があるかも知れませんが、「状況が変わった」ということは事実ですし、すでに何度も調整されたとのことですので、やむを得ないと思います。

今後、このような状況に問題なく対応するためには、やはり事前のリスクヘッジが大切です。面接設定時に、上記ような断り文を入れておかれることをおすすめします。また、多くの求職者に対応する人材紹介会社などでは、応募者に対して「初回の面接設定日時をずらすと、先方に応募の意思が薄いと受け取られる場合もあります」などと、極力スケジュールをずらさないように調整されているケースもあります。