Ez az angol mondat helyes?

Nem, nagyon nem jó. Az első tagmondatban nem használtál feltételes módot, a a másodikban meg ugyan használtál, de jelenidőben, nem múltban, és érthetelen módon a to utáni főnévi igenevet (pay) valamiért múlt időbe tetted (paid). És szerintem a bring helyett a take jobb lennem hoiszen nem hoztad, hanem vitted a könyvet. Az időben pedig in time, nem at time.

If I hadn't taken the borrowed book back to the library in time, I would have had to pay a fine.

A múlt idejű feltételes módról ezt az egyet jegyezd meg, és akkor menni fog:

If I hadn't taken (Past Perfect) the borrowed book back to the library in time, I would have had (would + ige harmadik alakja) to pay a fine.

Tehát mindig így épül fel: if után Past Perfectbe teszed az igét, would után pedig have + harmadik alak.