Ҳажарул Асвад ўз тарихида жуда кўп нарсаларни бошидан кечирган. Каъбани сел ювиб кетганда Қора тош ўрнатилган жойидан тушиб қолади, кейин маккалик қабилалар оқсоқоллари орасида улардан ким биринчи бўлиб тошни жойига қўйиши ҳақида баҳс бошланади. Макка уммавийлар томонидан 683 йилда қамал қилинганда у манжаниқдан отилган йирик тош билан бўлакларга бўлиб ташланган.