పోతనామాత్యుడు ఒంటిమిట్టలోనే భాగవతాన్ని అనువదించినట్టు తెలుస్తోంది. ఈ క్రమంలోనే అయ్యలరాజు సైతం ఇక్కడే తిప్పయ్య ఒంటిమిట్ట రఘువీర శతకం చెప్పారు. ఈ ఆలయాన్ని మూడు దశల్లో నిర్మించారని, 14వ శతాబ్దంలో నిర్మాణం ప్రారంభమై 17వ శతాబ్దంలో పూర్తయిందని ఇక్కడున్న శాసనాల ద్వారా తెలుస్తోంది. ఉదయగిరిని పాలించిన కంపరాయలు ఈ ప్రాంతంలో ఒకసారి సంచరిస్తాడు. వేట మీద జీవనం సాగించే వంటడు, మిట్టడు ఇక్కడికొచ్చిన కంపరాయలకు, ఆయన పరివారానికి శ్రీరాముడు సృష్టించిన బుగ్గనీటితో దప్పిక తీరుస్తారు.
వీరిరువురి కోరికపై కంపరాయలు ఆలయాన్ని నిర్మించి ఒంటిమిట్ట గ్రామాన్ని ఏర్పాటు చేస్తాడు. క్రీ.శ 1356లో బుక్కరాయలు ఈ ఆలయాన్ని ప్రారంభించాడు. ఆ తరువాత కాలంలో విజయనగరరాజులు, మట్లిరాజులు క్రమంగా గుడికి అంతరాళం, రంగమండపం, మహాప్రాంగణం, గోపురం, రథం నిర్మించారు. ఒంటిమిట్ట చుట్టుపక్కల గ్రామాల రాబడిని ఆలయ కైంకర్యాలకు వినియోగించారు. వావిలికొలను సుబ్బారావు భిక్షాటన చేసి విరాళాలు సేకరించి ఆలయానికి పూర్వ వైభవం తెచ్చారు.