残業申請していない社員にも残業代を支払う義務があるのでしょうか？

会社の指示ではなく本人が勝手に残り残業をしている場合は、残業代を支払う必要はありません。

ただし、会社の指示がなくても残業をしている状態が恒常的に発生している場合は、この状況を会社が黙認しているものとなり、残業代の支払い義務が生じる事にもなりかねません。

この黙示の指示について、行政通達でも「自主的時間外労働の場合は、労働時間ではないが、黙示の命令があると判断されるような場合は、労働時間にあたる」としています。（S23.7.13基発1018・1019号）

このような自発的残業に対処するためには、上司等が社員の残業について管理し、業務の進捗状況により残業が必要な場合はその都度許可や指示を出したり、残業の必要がない場合には社員に帰宅を命じる等、適正に労働時間を管理する必要があります。