بالغ عباس حلمي الأول في تشييد سراي الحلمية حيث أنشاها في مكان بيت إبراهيم بك الكبير وبيت ابنه مرزوق –المقتول في مذبحة القَلْعَة في سنة 1226 هـ/1811م وبيوت أخرى لأمراء سابقين.

في سنة 1266هـ / 49 – 1850م صدر تكليف من عباس باشا إلى علي باشا مبارك بعمل تصميم ميدان وإسطبل وعربخانة وقراقول وسجن ملحقين بهذا القصر فاشترى عدة أماكن حتى امتدت مباني السراي وملحقاتها إلى قُبّة المظفر.

كانت هذه السراي كما حددتها خريطة جراند بك التي رسمها لمدينة القاهرة سنة 1874م وخريطة التخطيط الجديد لمدينة القاهرة تمتد حدائقها حتى شارع محمد علي شمالاً، وتطل على بركة الفيل، وتمتد غربا حتى حدائق سراي دَرْب الجمّاميز التي كانت على الخليج المصري.

يتوسط مبنى القصر حديقة وتحيط به الحدائق من الثلاث جهات: الشمالية والجنوبية والغربية، ويحيط بهذه الحدائق كلها سور وقد كان هذا القصر يشمل معظم منطقة الحلمية الحالية تقريبًا. وكان القصر ملاصقا لسراي درب الجماميز الخاصة بمصطفى باشا فاضل.(سراي الجماميز اليوم أصبحت مدرسة الخديوية).

كان مبنى القصر يقع شمال غرب قصر علي باشا مبارك وشمال قصر الأمير أحمد باشا طلعت، وقد آلت هذه السراي بعد وفاة عباس باشا حلمي الأول إلى حفيدته أمنية هانم بنت إلهامي باشا بن عباس باشا الأول وهي زوجة الخديوي توفيق ووالدة الخديوي عباس حلمي الثاني والتي كانت تعرف بأم المحسنين.

في أوائل القرن العشرين هدمت سراي الحلمية وخططت حدائقها إلى شوارع  وعرف هذا التخطيط بالحلمية الجديدة.

نسبت منطقة الحلمية إلى عباس باشا حلمي بعد أن بني بها قصره وجعل أِمامه ميدانًا عرف بالحلمية أيضًا كان أمام باب جامع ألماس الحاجب، وقد امتد هذا الميدان إلى قُبّة المظفر، وأصدر إرادة في 27 ربيع الأول 1267هـ / 30 يناير 1851م بتسمية تلك المنطقة بالحلمية.