این برج ها را زرتشتیان در یزد برای دفن مردگان ساخته اند. بر اساس روایات زرتشتی، اجساد مردگان را باید در مکانی مخصوص به دور از محیط زندگی دفن می کردند زیرا معتقد بودند دفن اجساد باعث آلودگی خاک می شود. استخوان های باقی مانده توسط مسئول دخمه جمع آوری شد و در استودان ریخته شد. جالب است بدانید که در دوره های خاصی آرامگاه را با آهک و گوگرد تمیز می کردند. در طی این پاکسازی، استخوان های باقی مانده به خاکستر تبدیل شده و توسط باران شسته شده است.
افسانه های محلی می گویند که در شب صدای عجیبی در اطراف برج شنیده می شود که مردم را می ترساند.
برخی معتقد بودند که این صداها از ارواح مردگانی است که هنوز در این برج ها پرسه می زنند، تحقیقات علمی می گوید که این صداها بیشتر ناشی از باد و شرایط محیطی است، اما روایت های محلی همیشه توجه بیشتری را به خود جلب می کند.
