มัสยิดอัลฮะรอม ก่อนสมัยนบีมูฮัมมัด(ศ็อลฯ) บริเวณที่ตั้งของสิ่งสำคัญของอิสลามดังกล่าวข้างต้นนั้นถือเป็นศาสนสถานอันศักดิ์สิทธิ์ของชาวมักกะห์ บริเวณรอบสถานที่เหล่านี้เป็นที่เปิดโล่ง พื้นเป็นทรายและไม่มีการกั้นรั้วกำหนดเขตเป็นที่แน่ชัด และในปีฮิจเราะห์ศักราชที่ 8 ท่านนบีมูฮัมมัด(ศ็อลฯ) ใช้สถานที่แห่งนี้เป็นที่ละหมาด ต่อมาเมื่อมีมุสลิมเพิ่มมากขึ้น สถานที่แห่งนี้ก็เล็กลงตามกาลเวลา
ในสมัยคอลีฟะห์อุมัรและอุสมาน บ้านของประชาชนที่อยู่รอบบริเวณศาสนสถานสำคัญแห่งนี้จึงถูกสั่งรื้อถอนและได้มีการสร้างกำแพงกั้นบริเวณขึ้น
หลังจากนั้นก็มีการขยายพื้นที่และก่อสร้างส่วนต่างๆ ในสมัยของผู้ปกครองอาณาจักรอิสลามคนต่อๆมา เช่น การปูพื้นหินอ่อนลานเวียนรอบกะอ์บะห์ การปูพื้นและการสร้างหลังคาเหนือทางเดินสะแอ ระหว่างเนินเขาซอฟาและมัรวะห์ การสร้างหอสูงรอบเขตรั้วกั้นบริเวณ การติดตั้งเครื่องดูดน้ำและเครื่องทำความเย็นน้ำซัมซัมเพื่อเลี้ยงคนที่ไปปฏิบัติศาสนกิจ เป็นต้น
การบูรณะมัสยิดอัลฮะรอมมีขึ้นเป็นครั้งแรก โดยคอลีฟะห์อุมัร อิบนุ คอฏฏอบ ใน ฮ.ศ. 17 ต่อมาโดยคอลีฟะห์อุสมาน อิบนุ อัฟฟาน ใน ฮ.ศ. 26 โดยอัซซุเบร ใน ฮ.ศ. 65 โดยฮัจญาจ บิน ยูซุฟ อัษษะกอฟี ใน ฮ.ศ. 74 โดยอบูญัฟฟาร อัลมันซูร อัลอับบาซี ใน ฮ.ศ. 137 โดยมุฮัมมัด อัลมะฮ์ดี อัลอับบาซี ใน ฮ.ศ. 161 และ ฮ.ศ. 164
ภาพมัสยิดอัลฮะรอม ในปี ฮ.ศ. 161 ภาพมัสยิดอัลฮะรอม ในปี ฮ.ศ. 1899
ในระหว่างที่ราชวงศ์มัมลู้กแห่งอียิปต์มีอำนาจ ในปี ฮ.ศ. 802 ตัวอาคารมัสยิดอัลฮะรอมได้ถูกไฟไหม้และได้ถูกซ่อมแซมโดยเจ้าชายบัยซักซอฮีรี
หลังจาก ฮ.ศ. 979 เป็นต้นมา มุสลิมชาวเติร์ก ได้ขึ้นมาเป็นผู้นำชาติอิสลาม จึงได้มีการขยายบริเวณมัสยิดอัลฮะรอมให้กว้างออกไปอีก โดยเฉพาะในสมัยของสุลต่านซาลิม ซึ่งทุ่มงบประมาณมหาศาลเพื่อบูรณะครั้งใหญ่ใน ฮ.ศ. 980 และ ฮ.ศ. 984
ในราชวงศ์สะอู๊ด ประเทศซาอุดิอาราเบีย ได้ทำการขยายมัสยิดอัลฮะรอมในให้กว้างถึง 750,000 ตารางเมตร การขยายมัสยิดอัลฮะรอมในครั้งนั้น เป็นการขยายมัสยิดที่กว้างขวางที่สุดในประวัติศาสตร์สถาปัตยกรรมอิสลามในยุคสมัยใหม่
มัสยิดอัลฮะรอมในขณะนี้ สามารถรองรับผู้ที่เข้ามาละหมาดได้ถึง 3,000,000 คนต่อวัน และสามารถรองรับผู้ที่เข้ามาตอวาฟได้ถึง 150,000 คนต่อชั่วโมง