இக்கோயில் சுமார் 2600 ஆண்டுகள் பழமையானது. சுவாமி சுயம்புவான ஸ்ரீ ருத்திர கோடீஸ்வரர். அம்பாள் ஸ்ரீ பெண்ணின் நல்லாள் என்கிற அபிராமி. சுவாமி சுயம்பு மூர்த்தி. காளி தேவியின் உக்கிரத்தை தனித்து சாந்தப்படுத்தியதால் அம்பாள் சற்று சாய்ந்து காட்சி கொடுக்கிறாள். கோடி ருத்திரர்கள் ஈசனை வழிபட்டு சாபம் நீங்கப்பட்ட தலம். கருடனின் ஆணவத்தை நந்தி தேவர் தன முச்சுக்காற்றினால் அடக்கியதால் இத்தலம் நந்தி தேவருக்கு முக்கிய தலமாக கருதப்படுகிறது. நந்தி தேவர் தன தேவி சுய பிரபையுடன் காட்சிகொடுக்கிறார். திருநாவுக்கரசரால் பாடப்பட்ட வைப்பு தலம். நீண்ட பிரகாரத்துடனும், மதில் சுவருடனும் விளங்குகின்ற இந்த பெரிய கோயிலில் ஒன்பது முக வில்வ விருட்சம் மற்றும் உருத்திராட்ச விருட்சமும் உள்ளன.
பூலோகத்தில் அரக்கர்களை அழிப்பதற்காக இறைவனின் திருமேனியில் இருந்து பலம் பொருந்திய கோடி உருத்திரர்கள் தோன்றினர் அவர்கள் மிகுந்த தவபலம் பெற்றவர்களாக திகழ்ந்தனர். முத்தலைச் சூலம், மழுப்படை வில்லாயுதம் பாலம், பிண்டி எனும் 32 வகை ஆயுதங்களோடும் ஆயிரம் யானை பலம் உள்ளவர்களாய் பரமசிவம் பாதம் பனிந்து நின்றனர்.வேத பரம்பொருளாகிய சிவபெருமான் கருணை கூர்ந்து உலகை காத்து நிற்க என்று ஆணையிட்டார். இந்நிலையில் தேவர்கள் அமுதம் பெற வேண்டி பாற்கடலை கடைய மத்தாக மந்திர கிரி மலையை பெயர்த்தனர். அதன் பாதாளத்தில் இருந்து கொடிய அசுரர் கூட்டத்தினர் வெளிவந்தனர். கொடிய எண்ணம் கொண்ட அவர்கள் முனிவர்களை துன்புறுத்தினர். இந்திரன் மற்றும் தேவ முனிவர்களுடன் கயிலைக்குச் சென்று ஈசனை பணிந்து எங்களை காப்பாற்ற வேண்டும் என வேண்டி நின்றனர்.
சிவபெருமான் தேவர்களை காக்கும் பொருட்டு அசுரர் கூட்டத்தை அழித்து நாசம் செய்யுங்கள் என உருத்திரர்களை அனுப்பினார். கோடி ருத்திரர்களும் சிவபெருமானின் கட்டளையை ஏற்று அசுரர்களை அழிக்க போர் செய்ய துவங்கினர். கோடி ருத்திரர்களும் அசுரர்களின் கூட்டத்தை நாசம் செய்து வெற்றி மாலை சூடிக்கொண்டு வந்து சிவபெருமானின் திருவடியை வணங்கி இவர்களை கொன்ற பாவத்தை எவ்வாறு தீர்ப்பது என தெரியவில்லையே? ஈசனே நீரே பாவம் போக்கும் வழியையும் கூறி அருள வேண்டும் என வணங்கி நின்றனர். இறைவனும் மனம் கனிந்து ருத்திர கோடியர்களே! நீங்கள் தவம் செய்ய தகுதியான தலம் வேதகிரி தலம் அங்கு சென்று எம்மை தனி தனியே பூஜை செய்யுங்கள் எனக்கூறி அருள் புரிந்தார். இறைவன் அவர்கள் முன் கோடி லிங்கமாக காட்சி அளித்தார்.
ருத்திர கோடியர்களும் இறைவனை தனிதனியாக அபிஷேக ஆராதனை செய்தனர். பூசையின் முடிவில் கோடிலிங்க வடிவும் தம்முள் அடக்கி இறைவன் சுயம்பு மூர்த்தியாக வெளிப்பட்டு எழுந்தருளினார். கோடிருத்திரரும் இறைவன் பாதம் பணிந்து எங்கள் பெயரிலேயே தீர்த்தமும் இந்த தலமும் உம் பெயரும் விளங்க அருள் புரிய வேண்டும் என்று வேண்டி நின்றனர். இறைவனும் மனம் உகந்து இன்று முதல் இத்தலம் ருத்திரகோடி தலம் எனவும் எமக்கு ருத்திரகோடீசர் எனவும் உமைக்கு ருத்திரகோடீஸ்வரி எனவும் தீர்த்தம் ருத்திர கோடி தீர்த்தமாகவும் பெயர் பெற்று விளங்குக என திருவருள் புரிந்தார்.
தொண்டை நாட்டில் வணங்கபடும் காளி தேவியானவள் சிவபெருமானின் கண்டத்தில் இருந்து தோன்றியவள் ஆவாள். இவள் காலம் என்னும் தத்துத்தின் வடிவமாக தோற்றுவிக்கபடுகின்றாள். காலம் என்றும் எப்பொழுதும் மாறி்க்கொண்டே இருக்கும் தன்மை உடையது. காலம் ஒன்றை அழித்தும், வேறு ஒன்றை உருவாக்குகின்றது. காளியானவள் அழிக்கப்பட்ட தேவர்களின் மண்டை ஓடுகளை மாலையாக அணிந்து ஆயிரம் கைகளை இடுப்பில் கோர்த்து அணிந்து கொண்டு ஓங்கியவளும் சகல ஆயுதபாணியாக விளங்குகிறாள். இவளை தாங்கும் பீடமாக உருத்திர மூர்த்தி விளங்குறார். உருத்திரனின் தொழில்படும் சக்தி காளி. சிவபெருமானின் கண்டத்தில் இருந்து தோன்றிய காளி காற்றுத்தத்துவமாக விளங்குகிறாள். காற்றானது நில்லாமல் இயங்குவது போல இவளும் சதாசர்வ காலமும் இயங்கி கொண்டே இருக்கிறாள்.