أخذ هذا القصر الذي كان يسمى "سرايي جديدي اميرة" اسمه الحالي في القرن الـ 19 من أسم أحد أبواب أسواره .تم البدء ببناء القصر بعد فتح القسطنطينية بـ 20 عام وتم الإنتهاء من بناء المرحلة الاولى عام 1479م وأستمر البناء فيه بعد ذلك لسنوات طويله حيث تم إضافة أقسام كثيرة عليه بعد ذلك.
إن القصر الذي تبلغ مساحته حولي 700.000م2 ينتشر على مساحة واسعة تمتد من آيا صوفيا إلى حي كولخانة ومنها إلى حي سيركجي ويحاط بأسوار عالية وعريضة تسمى بـ "سوري سلطاني" وتمتد من قصر سبت جيلار الى "باب آخر" ويوجد على هذه الاسوار 28 برج. وفي عام 1888م تم هدم قسم من هذه الأسوار المطلة على الخليج مع بعض المقصورات بسبب إمرار خط حديدي من الموقع.
يعتقد انه كان يوجد للقصر 13 بابا لم يبقى منها إلا القليل اليوم. يقع باب خومايون الفخم مقابل سبيل السلطان أحمد قرب طرف آيا صوفيا المطل على البحر. إن هذا الباب هو الباب الرئيسي للقصر تم إنشاءه أول مرة في عهد محمد الفاتح وتم ترميمه عدة مرات إلى يومنا هذا. إن هذا الباب الذي شهد الكثير من الحوادث التاريخية مازال محافظاً على روعته القديمة. كان يفتح الباب مع أذان الفجر ويغلق عند أذان العشاء. يوجد فوق الباب ختم السلطان محمد الثاني وكتابة عليها تاريخ إنشاء الباب وهو 1478م وكذلك يوجد كتابة أخرى كتب فيها تاريخ إعادة الباب 1867م من قبل السلطان عبد العزيز.
يوجد في الطرف الداخلي للباب الساحة الأولى التي تعرضت للحريق في القرن الـ 19 مما عرضه لخسائر كبيرة. كان يوجد في الساحة مقصورة الدعاوي التي كانت تستقبل شكاوي الناس وكان يوجد على اليمين مكاتب موظفي الخزينة ومن ناحية أخرى يقع وراء الحائط على يمين الباحة مخبز القصر، أما في القسم اليساري يوجد كنيسة ايا ايرين. ويوجد بالقرب منه ضرب خانة الامبراطورية والذي يستخدم اليوم كمتحف. كما يوجد على اليمين سبيل والذي يسمى بـ سبيل الجلاد.
يوجد في الطرف المقابل الباب المفتوح على الساحة الثانية والذي يسمى بـ باب السلام، إن باب السلام هو الباب الحقيقي للقصر وقد تم إعادة بنائه في عهد السلطان مراد الثالث ويوجد علية برجين. وقد كتب عند هذا الباب "لا اله الا الله وأن محمد عبده ورسوله " ويوجد على الدرف الحديدية للباب كتابة تقول إن هذه الدرف تم صبه في عهد السلطان سليمان القانوني. وبعد الدخول من هذا الباب تتقابل الدلف الضخمة بالاشجار التي مر عليها العصور وهنا يفترق الباب الى خمس طرق : طريق يؤدي إلى مطبخ القصر وآخر إلى باب السعادة وآخر إلى الديوان وأخر إلى الحرملك وأخر إلى إسطبلات القصر.
كان الديوان في العهد العثماني مكان مناقشة وحل المشاكل البيروقراطية ويتألف من:
- الصالة الأولى والتي كانت تسمى بـ ماتحت القبة التي كان يعقد فيها الإجتماعات.
- الصالة الثانية والتي يحتفظ بها تسجيلات الاجتماعات.
- الصالة الثالثة والتي كان يقع فيها ما كان يسمى بـ دفتر خانه والذي يستخدم لحفظ الارشيف.
أما الحرملك فهو القسم الذي يوجد فيه حوالي 300 غرفة لزوجة وجواري وأم السلطان. أما البناء الاخر الذي يلفت النظر في الحرملك فهو برج العدالة.
في الحفريات التي اجريت عام 1959م في الساحة الثانية تم إكتشاف عامودين حجريين يعتقد إنهما يعودان الى القرن الـ 5 والـ 6 ولم يعرف سبب تواجد هذه الأعمدة البيزنطية أو سبب نقلها إلى هنا. وبعد الحريق الذي نشب في القصر عام 1574م والذي عرض المطبخ للكثير من الضرر كلف السلطان مراد الثالث المعماري سنان بتوسيع المطبخ وإعادة انشاءه.
من باب السعادة يتم العبور إلى الأقسام الخاصة للقصر وإلى الساحة الثالثة. يوجد في الساحة الثالثة غرفة العرض المخصصة لإستقبال الوزراء من قبل السلطان بعد إجتماعات الديوان. تم هدم غرفة العرض والتي بنيت في عهد السلطان محمد الفاتح وأنشئ بدلاً عنها في عهد السلطان سليم الاول. يحاط بغرفة العرض مدرسة القصر والتي تشغل مساحة كبيرة من الساحة الثالثة. وكانت مدرسة القصر بمثابة مدرسة تعليم البيروقراطية من أجل سد حاجة الدولة لرجال الدولة. إن هذه المدرسة التي تم إنشاءها من قبل السلطان محمد الفاتح كان يدرس فيها الطلاب المسيحيين ممن كانو من رعايا الدولة والذين اعمارهم فوق العاشرة.
أما البناء الثالث الذي يقع في الساحة الثالثة فهو مبنى الخرقة الشريفة حيث يعرض هنا "خرقة الرسول محمد (ص)" والتي تم بنائها عام 1719م من قبل السلطان سليم الاول الذي أحضر الأمانات المقدسة الى اسطنبول. كما تقع مكتبة السلطان أحمد الثالث في هذه الساحة. أما البناء الأخر والذي يقع في هذه الساحة فهو جامع مدرسة القصر والمسمى بـ جامع الاغاوات. ويوجد بجانب الجامع غرف خاصة للطلاب المتفوقين في المدرسة.
في الساحة الرابعة يوجد مقصورة صوفا ومقصورة ريوان ومقصورة بغداد وغرفة الطهور وغرفة رئيس الاطباء. تم بناء مقصورة ريوان عام 1634م من قبل السلطان مراد الرابع إحتفالا بأخذ يريفان من أيدي الايرانيين حيث أن داخله مطلى تماماً بالبورسلان الايزنيكي وإن أبواب الخزن كلها من الصدف. ومقصورة بغداد تم بنائها أيضاً من قبل السلطان مراد الرابع في 25 كانون الاول (ديسمبر) عام 1638م بعد فتح بغداد من جديد. أما غرفة الطهور فقد تم إنشائها عام 1641م وقد جرى فيها طهور أولاد السلطان لمدة تزيد عن 200 عام. اما التحفة الاثرية فهي البناء الذي انشأ عام 1640 كمقصورة إفطار .
أما البناء الاخير الذي تم إنشائه قي مجمع قصر توب كابي فهو مقصورة مجيدية والتي بنيت عام 1840م من قبل السلطان عبد المجيد في موقع يطل على خليج البوسفور وبحر مرمرة والبوسفور في آن واحد.
