H ανέγερση του σύγχρονου πύργου του ρολογιού έγινε στο πλαίσιο του σχεδιασμού του Charles Barry για ένα νέο ανάκτορο, έπειτα από την καταστροφή του παλιού παλατιού του Ουέστμινστερ από πυρκαγιά το βράδυ της 16ης Οκτωβρίου 1834.  

Παρά το γεγονός πως ο Barry ήταν ο βασικός αρχιτέκτονας του ανακτόρου, ο ίδιος στράφηκε στον Αύγουστο Pugin για το σχεδιασμό του πύργου του ρολογιού, ο οποίος έχει κοινά στοιχεία με παλιά σχέδια του δημιουργού, συμπεριλαμβανομένου ενός για το Scarisbrick Hall.

Στο πλαίσιο ενός τιτάνιου έργου, η καμπάνα του ρολογιού που κατασκευάστηκε το 1856 μεταφέρθηκε ως τον πύργο με μια άμαξα την οποία έσερναν 16 λευκά άλογα, την ώρα που ο κόσμος ο οποίος είχε μαζευτεί στους δρόμους για να παρακολουθήσει τη διαδικασία ζητωκραύγαζε με ενθουσιασμό. Η λειτουργία της καμπάνας δοκιμαζόταν καθημερινά μέχρι τον επόμενο χρόνο, όταν ξαφνικά εμφανίστηκε μια ρωγμή 1,2 μέτρων.

Ο πύργος έχει ύψος 96,3 μέτρων, ενώ το κάτω μέρος αποτελείται από πλινθοδομή με άμμο χρωματισμένη με επένδυση ασβεστόλιθου. Τα θεμέλιά του εκτείνονται σε 15 μέτρα τα οποία έχουν πάχος τρία μέτρα μπετόν και βάθος τέσσερα μέτρα κάτω από το επίπεδο του εδάφους. Οι τέσσερις πίνακες του ρολογιού βρίσκονται 55 μέτρα πάνω από το έδαφος. Ο εσωτερικός όγκος του πύργου είναι 4.650 κυβικά μέτρα.

Παρά το γεγονός πως πρόκειται για ένα από τα διασημότερα τουριστικά αξιοθέατα του κόσμου, το εσωτερικό του πύργου δεν είναι ανοιχτό σε επισκέπτες. Ο πύργος παράλληλα δεν διαθέτει ανελκυστήρα για να ανεβεί κάποιος τα εκατοντάδες σκαλοπάτια μέχρι την κορυφή.

Λόγω των αλλαγών στις συνθήκες του εδάφους από την κατασκευή (κυρίως σήραγγας για την επέκταση γραμμής Jubilee), ο πύργος κλίνει ελαφρώς προς τα βορειοδυτικά, κατά περίπου 220 χιλιοστά στο καντράν ρολογιού.

Κάθε μία από τις τέσσερις όψεις του αποτελείται από μια σιδερένια «κορνίζα», διαμέτρου επτά μέτρων, η οποία υποστηρίζει 312 κομμάτια γυαλιού. Ο λεπτοδείκτης ζυγίζει εκατό κιλά, έχει μήκος 4,2 μέτρα και οι κύκλοι που κάνει κάθε χρόνο θα κάλυπταν μια απόσταση 190 χλμ. Ο ωροδείκτης ζυγίζει 300 κιλά και έχει μήκος 2,7 μέτρα. Το ρολόι, διάσημο για την ακρίβειά του, ήταν πρωτοποριακό ακόμα και για την εποχή του. Όταν τα αντίστοιχα της βικτοριανής εποχής λειτουργούσαν με απώλεια δύο λεπτών την ημέρα, το Big Ben έχανε ένα δευτερόλεπτο την ημέρα.

Στον Α' Παγκόσμιο Πόλεμο οι καμπάνες σίγησαν επί δύο χρόνια και οι όψεις του ρολογιού «σκοτείνιασαν» προκειμένου να μην είναι ορατό από τα γερμανικά Ζέπελιν, ενώ στον Β' Παγκόσμιο οι γερμανικές οβίδες κατέστρεψαν δύο από τις τέσσερις όψεις του ρολογιού και μέρος της στέγης του. Στην πάροδο των χρόνων το ρολόι σταμάτησε πολλές φορές, είτε λόγω καιρού, εργασιών, καταστροφών, είτε από επιθέσεις πουλιών. H πιο σοβαρή διακοπή έγινε τη νύχτα της 10ης Αυγούστου του 1976, όταν μέρος του ηχητικού μηχανισμού θρυμματίστηκε λόγω μη αντοχής του μετάλλου.

Το Big Ben είναι το σύμβολο της Βρετανίας. Οι Λονδρέζοι άλλωστε έχουν ταυτίσει τον ερχομό της νέας χρονιάς με τους ήχους του, καθώς ραδιόφωνα και τηλεοράσεις συντονίζονται στους χτύπους του για να σημάνουν το νέο έτος. Οι βραδινές ειδήσεις του ΙΤΝ δείχνουν μια φωτογραφία του περίφημου ρολογιού και οι χτύποι του αναγγέλλουν τους τίτλους των ειδήσεων, πράγμα που γίνεται τα τελευταία 41 χρόνια. Χτύποι που χρησιμοποιεί, άλλωστε, και το BBC (Radio4) αλλά και η διεθνής υπηρεσία του, πρακτική που υιοθετήθηκε από τις 31 Δεκεμβρίου του 1923, όταν εγκαταστάθηκε ένα μικρόφωνο στο εσωτερικό του.

Το 2009 για τον εορτασμό των γενεθλίων του, μετά τη δύση του ηλίου στο Big Ben άναβε μια φωτεινή επιγραφή που έγραφε «Happy birthday Big Ben, 150 years, 1859-2009», ενώ ανεπίσημα οι ήχοι του μπορούν ελεύθερα να χρησιμοποιούνται και ως ring tone στα κινητά.