Ο ναός αυτός αποτελεί βυζαντινό μοναστήρι αφιερωμένο στην Παναγία με ναό στον τύπο του σταυροειδούς εγγεγραμμένου με τρούλο. Ο ναός διασώζει σπαράγματα του ζωγραφικού του διακόσμου. Στη θέση υπάρχει και ένα συγκρότημα κελιών.

«Η Κυρία μας η Κριτόματη». «Μ’ αυτή την επωνυμία τιμάται η Παναγία σε ξωκκλήσι κτισμένο στην πλαγιά λόφου, στ΄ αριστερά του δρόμου. Η πιο παλαιά μνεία του ξωκκλησιού γίνεται σε δικαιοπραξικά έγγραφα του 17ου αιώνα. Σε μοιρασοχάρτι της 3 Απριλίου 1626 αναφέρεται ότι οι άρχοντες Χρουσάκις Κορονέλλος και ο Νικολός Ντε Μαρή διαχωρίζουν και μοιράζονται το φέουδο των Μελάνων «αρχινώντας από τον Τζεντίλη να πάγη τον ποταμόν-ποταμόν, έως να σώσουν εις την άκρια του τόπου, από τον οποίον τόπον γροικάται και είναι η πάρτε που παίρνει ο αφέντης Χρουσάκις που είναι η κυρία η Κριτόματης, που πάγη το Κουρνοχώριον…».

Και σε άλλο έγγραφο, με χρονολογία 26 Μαΐου 1660, η Αντωνίνα σύζυγος Μιχαήλ Θεόφιλου αφιερώνει στο ναό των Αγίων Τεσσαράκοντα «ένα τετάρτι αμπελίου τοποθετημένου στα σύνορα της κυρίας μας Κριτόματης». Αυτό το ξωκκλήσι ήταν μετόχι του μοναστηριού της Χοζοβιώτισσας της Αμοργού, και από αυτό παραχωρήθηκε το 1662 στον Παριανό ιερομόναχο Γρηγόριο Χρυσανθόπουλο, για να το αναστήσει και το ανακαινίσει.

Ονομασία: Ο Ι. Κ. Βογιατζίδης την θεωρεί σύνθετη από τις λέξεις κριτής και όμμα, και επομένως πιστεύει ότι σημαίνει Εκείνην που έχει όμματα κριτού, Εκείνην που κρίνει, που δικάζει με τα μάτια της. Αν λάβουμε υπ’ όψη ότι στη Νάξο υπάρχει η αντίληψη ότι η Παναγία δεν ασκεί χρέη μόνον μεσίτριας αλλά και κριτή, όπως ο Θεός, και μάλιστα ότι είναι αδυσώπητη τιμωρός των παραβατών του ηθικού νόμου τότε γίνεται κατανοητό το προσωνύμιο της αυτό. Παλαιότερα, όταν κάποιος κατηγορείτο άδικα για ζωοκλοπή, μπορούσε να αποδείξει την αθωότητά του με όρκο που έδινε μέσα στην εκκλησία και μπροστά στην εικόνα της Παναγίας. Σήμερα η εικόνα φυλάσσεται στον ενοριακό ναό του Κουρουνοχωρίου. 

Άρθρο του Κώστα Κατσουρού, τον Δεκέμβριο του 2015 στο περιοδικό “Φλέα”