la ville de Kiragrama (la Baijnath moderne) était située sur les bords de la rivière Binduka. Dans la ville résidaient deux frères, Manyuka et Ahuka, fils d’un marchand nommé Siddha. Par dévotion pour Shiva Vaidyanatha, ils décidèrent de construire un temple vers 1204. Les inscriptions nous apprennent également qu’un Shivalinga (symbole du dieu Shiva) était déjà présent à l’emplacement du temple mais que ce lieu saint ne possédait pas de porche. Au 18ème siècle, Sansara Chandra II, roi de Kangra, décida d’effectuer de vastes réparations. Une inscription trouvée dans le temple mentionne la date de 1783. En 1905 un tremblement de terre dévastateur endommagea le lieu saint, qui fut réparé depuis et placé sous la direction des services archéologiques indiens. Le complexe est entouré d’un mur, avec une entrée principale, au sud, ornée de représentations de Ganesh et d’Hanuman de chaque côté.
Le temple Baijnath a été continuellement sous culte depuis sa construction en 1204 Les deux longues inscriptions dans le portique du temple à temple de Shiva indiqué qui existait sur place avant même l’actuel a été construit. Le temple actuel est un bel exemple de l’architecture nord de l’Inde médiévale début de Temple connu comme le style Nagara de temples. La forme de Shiva Linga Swayambhu est inscrit dans le sanctuaire du temple qui a cinq projections de chaque côté et est surmonté d’une Shikhara curviligne de hauteur. L’entrée au sanctuaire est à travers un vestibule qui a une grande place “mandapa” devant avec deux balcons massives une chacun dans le nord et le sud. Il ya un petit porche en face de la mandapa de lobby qui repose sur quatre piliers à l’avant précédée par une idole de “Nandi”, le taureau, dans un petit sanctuaire à colonnes. Le temple tout entier est entouré d’un haut mur avec des entrées dans le sud et le nord. Les murs extérieurs du temple ont plusieurs niches avec des images de dieux et de déesses. De nombreuses images sont anche fixes ou creusées dans les murs. La porte extérieure dans le porche que anche la porte menant au sanctuaire intérieur du temple sont clouté anche avec un grand nombre d’images d’une grande beauté et l’importance iconographique. Certains d’entre eux sont très rares à trouver ailleurs.