పూర్వం మూడవ శతాబ్దంలో తమిళ సంగం వంశానికి చెందిన నక్కీరన్ అనే తమిళ కవి రచనల్లో శ్రీకాళహస్తి క్షేత్రమును గురించి దక్షిణ కాశీగా చారిత్రక ప్రస్తావన ఉంది. ఇంకా తమిళ కవులైన సంబందర్, అప్పర్, మాణిక్యవాసగర్, సుందరమూర్తి, పట్టినత్తార్, వడలూర్ కు చెందిన శ్రీరామలింగ స్వామి మొదలగు వారు కూడా ఈ క్షేత్రమును సందర్శించారు. ఆలయానికి ఆనుకుని ఉన్న కొండ రాళ్ళపై పల్లవుల శైలిలో చెక్కబడిన శిల్పాలు ఉంటాయి. తరువాత చోళులు పదకొండవ శతాబ్దంలో పల్లవులు నిర్మించిన పాత దేవాలయాన్ని మెరుగు పరచడం జరిగింది.
ఒకటవ కులోత్తుంగ చోళుడు ప్రవేశ ద్వారం వద్దగల దక్షిణ గాలి గోపురాన్ని నిర్మించాడు. మూడవ కులోత్తుంగ చోళుడు ఇతర ఆలయాల్ని నిర్మించాడు. క్రీస్తుశకం 12వ శతాబ్దానికి చెందిన వీరనరసింహ యాదవరాయ అనే రాజు ప్రస్తుతం ఉన్న ప్రాకారాలను, నాలుగు ద్వారాలను కలిపే గోపురాలను నిర్మించాడు. క్రీస్తుశకం 1516 విజయనగర సామ్రాజ్యాధీశుడైన శ్రీకృష్ణదేవరాయల రాతిపై చెక్కించిన రచనల ఆధారంగా ఆయన వంద స్తంభాలు కలిగిన మంటపం మరియు అన్నింటికన్నా తూర్పు పడమర దిక్కుల వైపుకు ఉన్న ఎత్తైన గాలిగోపురం నిర్మించినట్లు తెలుస్తోంది. ఈ గోపురాన్ని 1516 వ సంవత్సరంలో గజపతులపై విజయానికి సూచనగా నిర్మించినట్లు తెలియజేస్తుంది. ఈ గోపురం 2010 మే 26 న కూలిపోయింది.
పది సంవత్సరాలుగా గోపురంలో అక్కడక్కడా పగుళ్ళు కనిపిస్తున్నప్పటికీ దానికి ఆలయ అధికారులు మరమ్మత్తులు చేస్తూ వస్తున్నారు అయితే కూలిపోక ముందు కొద్ది రోజుల క్రితం సంభవించిన లైలా తుఫాను కారణంగా ఒక వైపు బాగా బీటలు వారింది. మరో రెండు రోజులకు పూర్తిగా కూలిపోయింది. ఆలయ అధికారులు ముందుగా అప్రమత్తమై ముందుగా చుట్టుపక్కల కుటుంబాలను దూరంగా తరలించడంతో ఎటువంటి ప్రాణనష్టం సంభవించలేదు కానీ రెండు రోజుల తర్వాత శిథిలాల కింద ఒక వ్యక్తి మృతదేహం లభ్యమయింది. ఈ కూలిపోవడానికి గల కారణాలు అన్వేషించడానికి ప్రభుత్వం సాంకేతిక నిపుణలతో కూడిన ఒక కమిటీని నియమించింది. క్రీస్తుశకం 1529 అచ్యుతరాయలు తన పట్టాభిషేక మహోత్సవాన్ని ముందు ఇక్కడ జరుపుకొని తరువాత తన రాజధానిలో జరుపుకొన్నాడు. 1912లో దేవకోట్టైకి చెందిన నాటుకోట్టై చెట్టియార్లు తొమ్మిది లక్షల రూపాయలు విరాళం ఇవ్వడం ద్వారా దేవాలయానికి తుదిరూపునిచ్చారు.