Η ιστορία της κωμόπολης τοποθετείται ήδη από την εποχή του Πτολεμαίου. Δεν είναι επακριβώς βέβαιο αν ταυτίζεται με το Παντομάτριο, το οποίο ο Πτολεμαίος αναφέρει ως επίνειο της Ελευθέρνας. Δεν είναι, επίσης, εξακριβωμένο εάν ταυτίζεται με την κωμόπολη Panormus που αναφέρει ο Πλίνιος. Η ύπαρξη, ωστόσο, σημαντικής παλαιοβασιλικής εκκλησίας του 5ου - 6ου αιώνα, αφιερωμένης στην Αγία του Θεού Σοφία, την οποία έφερε στο φως η σκαπάνη του Καθηγητή Κωνσταντίνου Καλοκύρη, δείχνει ότι το Πάνορμο ήταν σημαντική κωμόπολη της περιοχής. Το 1206 καταλήφθηκε από τους Γενουάτες με επικεφαλής τον Ενρίκο Πεσκατόρε. Λόγω του φυσικού λιμένα της, ο Πεσκατόρε οχύρωσε την κωμόπολη με φρούριο (σώζονται ορισμένα υπολείμματά του). Παρόλα αυτά, δεν κατάφερε να εμποδίσει την κατάληψή του από τους Ενετούς το 1212. Λόγω του φρουρίου της (Καστέλλιο), η κωμόπολη πήρε το όνομα Καστέλλι. Οι Ενετοί διατήρησαν την πόλη ως έδρα καστελλάνου μέχρι το 1647, οπότε και εκδιώχθηκαν από τους Τούρκους, οι οποίοι την μισο-κατέστρεψαν.

Η κωμόπολη μετονομάστηκε σε Πάνορμο λόγω της ύπαρξης, σε παρακείμενο γήλοφο, που ονομαζόταν "Πάνορμος" ή "Πάναρμος", μιας μικρής εκκλησίας που έφερε την προσωνυμία "Άι Γιώργης ο Πάνορμος". Από τις αρχές του 20ού αιώνα η πόλη ξαναβρίσκει μέρος της αίγλης της, αποτελώντας διαμετακομιστικό διά θαλάσσης κέντρο των αγροτικών και κτηνοτροφικών προϊόντων της επαρχίας Μυλοποτάμου. Για το σκοπό αυτό είχαν κτισθεί εκεί μεγάλες αποθήκες. Η πόλη διέθετε επίσης δημοτικό σχολείο, ημι-γυμνάσιο, το οποίο ιδρύθηκε το 1917 και λειτούργησε το 1918, ήταν έδρα Ειρηνοδικείου και υποσταθμού Χωροφυλακής. Έτσι έγινε πρωτεύουσα της Επαρχίας Μυλοποτάμου.
Μετά τον Β΄ Παγκόσμιο Πόλεμο η κωμόπολη, ήδη έχοντας λάβει το όνομα Πάνορμο, μετατρέπεται σε μικρό ψαροχώρι. Νέα ζωή σε αυτό προσδίνουν η διέλευση του νέου εθνικού δρόμου (Α 90 - Ε 75) από τις παρυφές του και, την δεκαετία του 1980, η δημιουργία αλιευτικού καταφυγίου. Σήμερα είναι τόπος παραθερισμού διαθέτοντας μια μεγάλη και αρκετές μικρότερες ξενοδοχειακές μονάδες. Η εκκλησία του χωριού έχει διπλή αφιέρωση στην Ανάληψη του Σωτήρος και στον Άγιο Γεώργιο.