Σύμφωνα με την παράδοση η πρώτη ίδρυση της μονής αποδίδεται στον αυτοκράτορα Καρακάλλα (211-217), από τον οποίο πήρε και το όνομά της, Την όχι και τόσο σωστή αυτή άποψη δέχεται ο Ιωάννης Κομνηνός στο Προσκυνητάριον του Αγίου Όρους, ενώ ο Γεράσιμος Σμυρνάκης τροποποίησε κάπως αυτή την εκδοχή και υποστηρίζει ότι κτίσμα του Ρωμαίου αυτοκράτορα είναι μόνο ο παραλιακός πύργος της μονής.
Το ίδιο αβάσιμη θα πρέπει να θεωρηθεί η παραγωγή του ονόματος από το τουρκικό «καρά-κουλέ», που σημαίνει μαύρος πύργος, και τούτο γιατί η Μονή με το παραπάνω όνομά της υπάρχει στο Όρος προτού κάνουν την εμφάνισή τους οι Τούρκοι στο χώρο της βυζαντινής αυτοκρατορίας. ‘Ίσως θα μπορούσαμε να υποθέσουμε την ύπαρξη κάποιου μοναχού με το όνομα Καρακαλάς ή Καρακάλας -και τα δύο αυτά ονόματα ήταν πολύ γνωστά στο Βυζάντιο -, που ίδρυσε εδώ ένα μικρό μοναστήρι στις αρχές του 11ου αιώνα, στο οποίο έδωσε και το όνομά του.
