Η παράδοση θέλει το νησί να παίρνει το όνομά του από τον Κίμωλο, σύζυγο της μυθικής Σίδης, κόρης του Ταύρου, ο οποίος ήταν ο πρώτος οικιστής του τόπου. Ανεξάρτητα από τον μύθο, η αρχαιολογική σκαπάνη έχει όντως φέρει στο φως ευρήματα που συνηγορούν στην εκτίμηση ότι η Κίμωλος κατοικείτο τουλάχιστον από την ύστερη Νεολιθική εποχή, δηλαδή πριν από περίπου 5.000 χρόνια.

Τον 5ο π. Χ. αιώνα η Κίμωλος ήταν μέλος της Δηλιακής συμμαχίας και το πολίτευμά της ήταν οργανωμένο στα πρότυπα του αθηναϊκού μοντέλου. Διέθετε  βουλή, δήμο και την εξουσία ασκούσαν τρεις άρχοντες και τρεις ταμίες. Γνωστή και ως Εχινούσα λόγω της έχιδνας (οχιάς) που απαντάται ακόμα και σήμερα στο νησί, η Κίμωλος βρέθηκε στη μέση ενός ανηλεούς πολέμους μεταξύ των δύο υπερδυνάμεων της εποχής, της Αθήνας και της Σπάρτης. Σε αντίθεση πάντως με την γιετονική Μήλο, ο πληθυσμός της οποίας εσφάγη και εξαναδραποδίστηκε σχεδόν ολοκληρωτικά από τους Αθηναίους, η Κίμωλος βγήκε σχετικά αλώβητη από αυτή τη σύγκρουση. Χάρη στο εμπόριο διάφορων πετρωμάτων και κυρίως της περίφημης «κιμωλίας γης», τον 3ο αιώνα π. Χ. η Κίμωλος γνώρισε μεγάλη οικονομική ανάπτυξη και κυκλοφόρησε δικά της νομίσματα. Η διαμάχη της Κιμώλου με τη Μήλο για την κυριότητα της νήσου Πολυαίγου και των κοντινών νησίδων ξεκίνησε το 416 π. Χ. και έληξε το 338 π. Χ. με απόφαση του δικαστηρίου των Αργείων, η οποία κατοχύρωνε την κυριότητα των νησιών στην Κίμωλο. Σήμερα, τα ερείπια της αρχαίας πόλης της Κιμώλου βρίσκονται στο νησάκι Άγιος Ανδρέας, απέναντι από τη θέση Ελληνικά, στα δυτικά του νησιού. Στον βυθό της περιοχής είναι ακόμα ορατά ερείπια από σπίτια και τάφους της αρχαίας πόλης, μέρος της οποίας εικάζεται ότι βυθίστηκε εξαιτίας ενός ισχυρού σεισμού. Οι αναφορές για την ρωμαϊκή και βυζαντινή περίοδο είναι εξαιρετικά περιορισμένες και έχουν να κάνουν κυρίως με την εμπορία της «κιμωλίας γης», η οποία αποτελούσε την πρώτη ύλη για την επεξεργασία πορσελάνινων σκευών. Σε όλη τη διάρκεια του Μεσαίωνα η Κίμωλος ήταν γνωστή Αρτζιαντιέρα ή Αρτζεντιέρα, λέξη που προέρχεται από το λατινική λέξη αρτζέντο (ασήμι), λόγω των ασημόχρωμων βράχων της. Τον 13ο αιώνα, την Κίμωλο κατέλαβε ο Ενετός σταυροφόρος Μάρκος Σανούδος και το νησί πέρασε στο Δουκάτο της Νάξου, ώσπου το 1537 κατελήφθη προσωρινά από τον τούρκο ναύαρχο και πειρατή Χαϊρεντίν Μπαρμπαρόσα.

Η πραγματική μάστιγα, όμως,  για τους κατοίκους του νησιού ήταν οι πειρατές και οι ανηλεείς επιθέσεις που εξαπέλυαν. Το 1638, μάλιστα, η Κίμωλος καταλήφθηκε και πυρπολήθηκε από τους πειρατές και οι κάτοικοι αναγκάστηκαν να καταφύγουν στη Σίφνο. Οι επιδρομείς από τη θάλασσα αγνοούσαν ακόμα και τις διαταγές του Σουλτάνου ενώ οι οθωμανικές αρχές κινούνταν μεταξύ ανικανότητας και αδιαφορίας όσον αφορά την πάταξη της πειρατείας. Οι λεηλασίες είχαν τέτοια συχνότητα και αγριότητα, ώστε οι κάτοικοι αναγκάστηκαν τελικά να εγκαταλείψουν κάθε αγροτική και κτηνοτροφική δραστηριότητα. Είναι χαρακτηριστικό, ότι περιηγητές που επισκέφθηκαν το νησί στα τέλη του 18ου αιώνα, αναφέρουν στις καταγραφές τους ότι οι ελάχιστοι κάτοικοι που παρέμεναν στην Κίμωλο ζούσαν υπό συνθήκες απόλυτης ένδειας. Η εγκατάλειψη, όμως, των γεωργικών εργασιών ώθησε τους Κιμωλιούς στη θάλασσα και έτσι απέκτησαν μεγάλη ναυτική εμπειρία.

Κατά τη διάρκεια του Ρωσοτουρκικού πολέμου του 1768 οι Ρώσοι συνέταξαν λεπτομερείς  χάρτες της Κιμώλου εξαιτίας της στρατηγικής θέσης του νησιού. Μια άλλη άποψη αναφέρει  πως οι Ρώσοι έψαχναν τα θρυλούμενα από την αρχαιότητα μεταλλεία αργύρου, η ύπαρξη των οποίων όμως δεν επιβεβαιώθηκε ποτέ. Από το 1678 είχαν ήδη εγκατασταθεί στο νησί διπλωματικοί αντιπρόσωποι της Ολλανδίας πρώτα και της Γαλλίας αργότερα και ανήγειραν την καθολική εκκλησία της “Μαντόνα ντι Ροζάριο”, τα ερείπια της οποίας υπάρχουν ακόμα και σήμερα. Από την  καθολική κοινότητα που σταδιακά δημιουργήθηκε στο νησί, θρυλική παραμένει η ιστορία της οικογένειας Μπρεστ η οποία μετοίκησε το 1795 στη Μήλο και έπαιξε πρωταγωνιστικό ρόλο στη μεταφορά της Αφροδίτης της Μήλου στο μουσείο του Λούβρου στο Παρίσι. Η ελληνική επανάσταση του 1821 και η απελευθέρωση σήμανε τον οριστικό τερματισμό των κακουχιών για τους κατοίκους της Κιμώλου. Έτσι, το νησί γνώρισε οικονομική, εμπορική και οικιστική ανάπτυξη που με τη σειρά τους έφεραν την αύξηση του πληθυσμού.