والمسجد الحرام هو أول المساجد الثلاثة التي تشد إليها الرحال. فقد قال نبي الإسلام محمد: «لا تشدُّ الرحال إلا إلى ثلاثة مساجد: المسجد الحرام، ومسجدي هذا (المسجد النبوي)، والمسجد الأقصى».
وبدأ تاريخ المسجد ببناء الكعبة المشرفة، وقد بناها أول مرة الملائكة عليهم السلام قبل آدم عليه السلام، وكانت من ياقوتة حمراء، ثم رفع ذلك البناء إلى السماء أيام الطوفان، وبعد الطوفان قام النبي إبراهيم مع ابنه إسماعيل عليهما السلام، بإعادة بناء الكعبة، بعد أن أوحى الله إلى إبراهيم عليه السلام بمكان البيت، قال تعالى: "وَإِذْ بَوَّأْنَا لِإِبْرَاهِيمَ مَكَانَ الْبَيْتِ أَنْ لَا تُشْرِكْ بِي شَيْئًا وَطَهِّرْ بَيْتِيَ لِلطَّائِفِينَ وَالْقَائِمِينَ وَالرُّكَّعِ السُّجُودِ". (سورة الحج الآية 26).