তখন তৈরি হয়নি শের শাহের জি টি রোড, আজ থেকে প্রায় ৯০০ বছরের আগের কথা,বর্তমানে জি টি রোডের গা ঘেঁষে ভট্টাচার্যরা প্রতিষ্ঠিত করেছিলেন মায়ের মূর্তি। কথিত আছে স্থানীয় অব্রাম্ভন জমিদার শ্মশানে প্রতিষ্ঠিত করেছিলেন মায়ের মূর্তি। তখন প্রতিনিয়ত পুজো হত না। সেই সময় ভট্টাচার্যরা এখানে পুজো করতে আসতেন। কিন্তু যেহেতু শ্মশানে মায়ের এই মূর্তি প্রতিষ্ঠা ছিল তাই তাঁরা ভয় পেতেন। এরপর ভট্টাচার্যরা সমহিমায় প্রতিষ্ঠিত করেন মাকে। তারপর থেকে আজও সেই মা বিরাজ করছেন সিমলাগড়ে।
প্রথমে ছোট্ট তালপাতার আটচালার মন্দিরে বিরাজ করতেন মা। কথিত আছে এক সময় স্বয়ং রঘু ডাকাত এই মন্দিরে পূজো দিয়েই ডাকাতি করতে যেত। আজও মন্দিরের বিল্লগাছে বহু মানুষ তাদের মনোস্কামনা পূরণের জন্য মানত করেন। এলাকার মানুষেরা বলেন সিমলাগড়ের কালী বাড়ির মা সাধুসন্ত, সাধারণ মানুষের মতো খারাপ মানুষেরও মা। পথ চলতি বহু মানুষ প্রতিনিয়ত পূজো দেন এখানে।
শোনা যায় একসময় এই মন্দিরে নর বলি হতো, তবে বহু বছর আগে তা বন্ধ হয়ে গিয়েছে। কিন্তু আজও আছে সেই পাথরের হাঁড়িকাঠ। এখন এখানে বিশেষ দিনে ছাগ বলি হয়। বহু গল্প কথা প্রচলিত আছে সিমলাগড়ের কালী মাকে ঘিরে। এমন কিছু মানুষও আছেন যাঁরা এই রাস্তা দিয়ে গেলে গাড়ী থামিয়ে পূজো দেন। এমনকী নতুন যানবাহন ক্রয় করলেও এই কালীবাড়িতে পূজো দেওয়ার রীতি বহু বছর ধরে।
