Το 1170 οι καλόγεροι της Καρυάς έχτισαν – με άδεια του τότε διοικητή Λέσβου Κωνσταντίνου Βαλέριου – την εκκλησία της Παναγίας, στο ύψωμα που βρισκόταν τα οστά του Αγάθωνα.
Ο ναός ολοκληρώθηκε και εγκαινιάστηκε το 1173. Διατηρήθηκε επί 633 χρόνια. Γύρω στην εκκλησία σχηματίστηκε ένας μικρός οικισμός ο οποίος εξελίχτηκε με την πάροδο του χρόνου σε μεγάλη και αξιόλογη κωμόπολη. Όταν το νησί υποδουλώθηκε στους Τούρκους, πολλοί χριστιανοί πήραν τις οικογένειές τους και κατέφυγαν στην εκκλησία της Παναγίας για να σωθούν.
Επειδή όμως ο πρώτος ναός ήταν πλέον ετοιμόρροπος και επικίνδυνος, λόγω της φθοράς του χρόνου, κατά το έτος 1806 με την πρωτοβουλία του τότε Μητροπολίτη Μυτιλήνης Ιερεμίου και των προκρίτων της Αγιάσου κατεδαφίστηκε και κτίστηκε νέος ναός, μεγαλύτερος, παρόλο που οι τουρκικές αρχές είχαν δώσει αυστηρή εντολή να αναγερθεί ο νέος ναός πάνω στα θεμέλια του παλιού. Ο διάκοσμος του ναού ήταν βαρύτατος, όπως και του παλιού, γιατί τα δωρήματα των χριστιανών ήταν πλούσια. Ο ναός απόκτησε ωραία έργα εκκλησιαστικής ξυλογλυπτικής, όπως το τέμπλο, το θρόνο, τον άμβωνα, τα προσκυνητάρια. Από το 1783 είχε διαλυθεί το Μοναστήρι του Αγάθωνα και ο ναός είχε γίνει Ενοριακός της Κοινότητας και Ενορίας Αγιάσου.
Ενώ οι τεχνίτες εργαζόταν ακόμη για τα έργα της ξυλογλυπτικής, ξαφνικά, τη νύχτα της 6ης του Αυγούστου 1812, ο ναός έγινε παρανάλωμα της μεγάλης φωτιάς που αποτέφρωσε μεγάλο μέρος της κωμόπολης. Ευτυχώς από τις εικόνες του τέμπλου μόνο μία, η εικόνα του Χριστού, καταστράφηκε, όλες δε οι άλλες διασώθηκαν.
Κατά το έτος 1815 με τις δωρεές, τις οποίες με ενθουσιασμό προσφέρουν οι Χριστιανοί της Αγιάσου, και με τους εράνους που ενεργεί ο μητροπολίτης Μυτιλήνης Καλλίνικος με απεσταλμένους του στην επαρχία, αλλά και στα απέναντι μέρη της Μικράς Ασίας, ανεγείρεται πάνω στα θεμέλια του παλιού νέος ναός, ο τρίτος στη σειρά, ο οποίος διασώζεται μέχρι σήμερα.
Ο ναός χτίστηκε με άδεια του Σουλτάνου Μαχμούτ του Β΄, που χορηγήθηκε ύστερα από αίτηση των κατοίκων της Αγιάσου, με τον όρο να μη γίνει μεγαλύτερος απ’ τον παλιό. Το μήκος του ναού είναι 32,20 μ. και το πλάτος 26,20 μ. Είναι τρίκλιτη βασιλικής με τρεις κόγχες Ιερού Βήματος, τρεις Άγιες Τράπεζες (απ’ τις οποίες η δεξιά είναι αφιερωμένη στον Άγιο Χαράλαμπο και η αριστερή στον Άγιο Νικόλαο), μαρμάρινο τέμπλο και μεγάλο γυναικωνίτη. Επί πολλά χρόνια ειδικοί τεχνίτες καταγίνονταν με την κατασκευή του τέμπλου, του θρόνου και του άμβωνα. Τα αφιερώματα των πιστών, οι βυζαντινές και μεταβυζαντινές εικόνες που κοσμούν το ναό, αποτελούν ένα θησαυρό αμύθητης αξίας. Η 
εσωτερική διακόσμηση του ναού συμπληρώθηκε με νέο έρανο το 1838.
Μια δεύτερη πυρκαγιά, στα 1877, έκαψε σχεδόν ολόκληρο το χωριό, όχι όμως και την εκκλησία. Τα σπίτια, που μέχρι τότε ήταν από τη μέση και πάνω ξύλινα και προεξείχαν στους στενούς δρόμους χτίστηκαν ξανά πέτρινα και οι δρόμοι μεγάλωσαν. Το χωριό πήρε τη σημερινή μορφή του. Το 1971 το Προσκύνημα της Παναγίας αναγνωρίστηκε και κατά νόμο «Ιερό Προσκύνημα» και διοικείται έκτοτε από πενταμελή Επιτροπή. Το 1977 έγινε η τελευταία ριζική εσωτερική ανακαίνιση του Προσκυνήματος.
Στο μεταξύ, γύρω στο 1453, δηλαδή τότε που αλώθηκε η Πόλη από τους Τούρκους, οι Χριστιανοί του ναού βλέποντας ότι η εικόνα της Παναγίας άρχισε να καταστρέφεται από το πέρασμα του χρόνου, ανέθεσαν σ’ έναν καλό αγιογράφο να κάνει ένα πιστό αντίγραφο της παλιάς εικόνας για να κρύψουν την πρωτότυπη. Η εικόνα – αντίγραφο είναι εξαίρετο έργο βυζαντινής τέχνης. Το 1838 η πρωτότυπη εικόνα βρέθηκε κρυμμένη στο εσωτερικό της νεότερης εικόνας της Παναγίας, μέσα σε ξύλινο κουτί και τυλιγμένη σε ύφασμα βουτηγμένο σε κηρομαστίχα, αλλά φοβερά κατεστραμμένη. Η αποκατάσταση των φθορών που δημιούργησε ο χρόνος έγινε με μεγάλη επιμέλεια από το Ρώσο τεχνίτη – ειδικό συντηρητή των εικόνων του Βυζαντινού Μουσείου Αθηνών – Βασίλειο Ραχτσέβσκι. Η παλιά εικόνα τοποθετήθηκε από τότε σε ξύλινη θήκη με διπλό κρύσταλλο μέσα σε μαρμάρινο προσκυνητάρι μπροστά στο αντίγραφο εικόνισμα της Παναγίας που βρίσκεται στο τέμπλο.
Το πανηγύρι της Παναγίας
Ο Καισάριος Δαπόντες, περιγράφοντας το πανηγύρι της Παναγίας στην Αγιάσο και την απήχηση που έχει στους χριστιανούς της Ανατολής, γράφει:
“Η Σμύρνη και Ανατολή
και Έφεσος και Χίος
χύνονται εις την εορτήν
ετούτην ετησίως.”
Το πανηγύρι της Παναγίας γίνεται στις 15 Αυγούστου. Από την 1η του Αυγούστου οι προσκυνητές συρρέουν στα κελιά και στον αυλόγυρο της εκκλησίας όπου “δεκαπεντίζουν” διανυκτερεύοντας στην ύπαιθρο. Η κωμόπολη παίρνει μια όψη πανηγυρική. Οι προσκυνητές φθάνουν με όλα τα μέσα και πολλοί ξεκινούν απ’ τη Μυτιλήνη και από τ’ άλλα χωριά του νησιού με τα πόδια, απολαμβάνοντας την ομορφιά της λεσβιακής Αυγουστιάτικης νύχτας. Σταθμός όλης αυτής της διαδρομής είναι η Καρήνη.
Σχεδόν όλοι οι προσκυνητές σταματούν στα αιωνόβια πλατάνια για να ξαποστάσουν για λίγο. Απ’ εκεί οι πιο αποφασισμένοι παίρνουν ένα παλιό πλακόστρωτο μονοπάτι, την “πατωμένη”, και ανάμεσα από ελαιώνες έχουν τη δυνατότητα να φτάσουν πιο γρήγορα στην Αγιάσο. Οι μικροπωλητές απλώνουν παντού τις πραμάτειες τους, οι ντόπιοι προβάλουν με το καλύτερο τρόπο τα τοπικά προϊόντα, όπως χαλβά, ξυνόμηλα, αχλάδια, καρύδια, ενώ η μυρωδιά της ρίγανης και του φασκόμηλου δεν αφήνουν κανέναν από τους επισκέπτες ασυγκίνητο. Πολλούς απ’ αυτούς τους βρίσκει το ξημέρωμα και η πρωινή δροσιά του βουνού. Η ατμόσφαιρα είναι εξαιρετικά γιορταστική, η εμπειρία για τον καθένα που θα βρεθεί εκεί μοναδική.
