قدیمی‌های محله نقل می‌کنند که اولین زیارتگاه سنگلج در همین خانه دایر شده و مرحوم شیخ قاسم حرمی بانی امامزاده بوده است.
شیخ قاسم حرمی در اواخر دوره قاجار برای زیارت حرم امام حسین (ع) به کربلا رفت، اما مدت زیادی در آنجا ماند. صحن حرم امام حسین(ع) برای شیخ قاسم به قدری خوشایند بود که مدت زیادی در آنجا ماند و در داخل حرم نماز جماعت به جا آورد.
حمیدرضا نارنجنژاد از اعضای هیئت مؤسس انجمن سنگلج، برپایی زیارتگاه خانگی در سنگلج را سوغات حاج قاسم از کربلا می داند و می گوید: به روایت قدیمی ها، حاج قاسم در مدت اقامت خود به نجف می رفت. در کربلا و علمای آن زمان شیخ پس از مدتی به ایران بازگشت و مسجد فاطمیه را در خانه قدیمی خود تأسیس کرد سنگلج گواهی می دهند که پیش از او مراسم مذهبی در سنگلج برگزار نمی شد».
حرم مطهر مرحوم شیخ قاسم حرمی با بیش از 100 سال قدمت همزمان با شهادت حضرت زهرا(س) تأسیس شد و با گذشت چندین دهه، نوه های شیخ قاسم مسئولیت آن را بر عهده دارند. ساخت حرم خانه آجری شیخ با آپارتمانی نوساز جایگزین شده است، اما مراسم روضه همچنان در طبقه پایین ساختمان جدید الطاسیس برگزار می شود تا مجلس 10 روضه خاندان حرمی در ایام فاطمیه محقق شود.
نارنجنژاد درباره زیارت مشاهیر به حسینیه شیخ قاسم می گوید: مرقد مطهر شیخ قاسم معروف به بیت فاطمه(س) بیش از یک قرن قدمت دارد و در طول سالیان متمادی افراد مشهوری به این حسینیه آمده اند.شیخ محمدتقی فیلسوف. واعظ معروف و از چهره های مبارز انقلاب اسلامی و مرحوم امامی کاشانی، مرحوم آیت الله مهدوی کنی و سید ابوالقاسم شجاعی از مشاهیر حاضر در حرم شیخ قاسم بودند.
حسینیه شیخ قاسم حرمی یا خانه فاطمه (س) در بازار قدیم قنات آباد و کوچه شاه حسینی فعلی، کوچه غلامیان قرار دارد و در ایام محرم مراسم عزاداری در این خانه برگزار می شود. خاندان حرمی قول داده اند تا حرم حضرت زهرا(س) را نسل به نسل تا ظهور امام زمان(عج) در این خانه بسازند.