قصر یا باغ نگارستان بین سال‌های ۱۲۲۸-۱۲۲۲ ه.ق به فرمان فتحعلیشاه قاجار، با هدف ایجاد یک مرکز ییلاقی حکومتی در خارج از دارالخلافه تهران ساخته شد. به دلیل وجود نقاشی‌ها و نگاره‌های متعددی از فتحعلیشاه و درباریان او در ساختمان‌های مختلف، این باغ به نگارستان شهرت یافت.
این قصر باغ در روزگار اولیه خود دارای وسعت زیادی بوده است. به گونه‌ای که طبق اسناد قاجاری دروازه جنوبی آن در ضلع شمالی میدان بهارستان واقع بوده و از طرف شرق به دروازه شمیران و از طرف غرب به خیابان صفی‌علیشاه منتهی می‌شده است
ولی باید اذعان داشت که باغ نگارستان در معرض تخریب‌های بسیاری قرار گرفته است و فقط ۱۱۴۶۹ مترمربع آن در حال حاضر باقی مانده و در مالکیت دانشگاه تهران می‌باشد. در این قصر باغ عمارت‌ها و تالارهای باشکوهی چون عمارت دلگشا، تالار سلام، تالار قلمدان و چندین حوض‌خانه بر پا شده بود.
