ويعتبر قصر خزام أحد القصور الملكية، التي كان يسكنها الملك عبدالعزيز -رحمه الله-، ويشتمل على ثلاث وجهات، الجنوبية وتطل على حي النزلة اليمانية، والشمالية التي تطل على مصلى العيد، والغربية التي تطل على منطقة السبيل، ويتكون من طابقين وملحقات في الجهتين الجنوبية والغربية، ويحيط به سور بارتفاع ثلاثة أمتار تقريبا.
وللقصر مدخل رئيس عبارة عن بوابة عالية، تسمى بوابة قصر خزام الكبرى، تفتح جهة طريق مكة «الجهة الشمالية»، تتكون من برجين متقابلين متشابهين في التصميم المعماري والزخرفي، وهناك بوابة أخرى تعتبر أصغر من السابقة، وتسمى بوابة قصر خزام الصغرى، وتفتح على طريق الملك خالد -رحمه الله-.
» الطراز المعماري
وتم تشييد القصر بالأحجار الجيرية الصلبة المقطوعة من ساحل البحر الأحمر، وهي المادة الأساسية، التي كانت تستخدم في تشييد المباني بمدينة جدة، إضافة لمواد أخرى مثل: البطحاء، الإسمنت، الرمل، حديد التسليح، والأخشاب، ما يدل على نمط الطراز المعماري، الذي كان سائدا في البناء بتلك الحقبة، وهو يرسم التسلسل العمراني والتطور المعماري والفني المرتبط بالقواعد السياسية والتنظيمية للدولة.
» مكاتب إدارية
وبعد وفاة الملك عبدالعزيز -رحمه الله-، استخدم الملك سعود -رحمه الله- القصر كمكاتب إدارية حتى عام 1963م، حيث ضم القصر إلى قصور الضيافة، وأضاف له بعض المرافق، ووضع صورة بوابته الرئيسة على العملة الورقية في عام 1955م، حيث كان يشكل القصر قبلة جدة الحكومية، وإليه كانت الوفود الرسمية تأتي في مهام دبلوماسية.
» المحافظة عليه
وانتقل القصر لوكالة الآثار والمتاحف بوزارة المعارف، فقامت بترميم جزء من مقدمة القصر، وافتتح في مارس 1995م، حيث روعي في الترميم المحافظة على طابع المبنى المعماري، وتم تحويل جزء من القصر إلى متحف وتأثيثه وتجهيزه بالمعروضات، التي تمثل جميع العصور التاريخية متدرجة بطريقة علمية، مرورا بالعصور الإسلامية وصولا إلى العصر الحديث.
