दरगाह उसी पहाड़ी की चोटी पर मंदिरों और गुफाओं के के पास स्थित है। ऐतिहासिक अभिलेखों में दर्ज है कि इस दरगाह तक जाने वाली सीढ़ियां, काशी विश्वनाथ मंदिर के शिखर तक जाने वाले मार्ग का हिस्सा हैं। दशकों तक, दोनों धार्मिक समुदाय बिना किसी बड़े विवाद के इस क्षेत्र का उपयोग करते रहे।