洪武五年（1372）在独秀峰下营建靖江王府，洪武二十五（1392）年建成。王府按照朝廷对藩王府所作的规定构筑， 其主要建筑前为承远门，中为承运殿，后为寝宫， 最后是御苑。围绕主体建筑还有4堂、4亭和台、阁、轩、室、所等40多处，占地19.78公顷， 规模宏大。从建成到明代覆灭的257年中，这里住过12代14位藩王。据明王士性《广志绎》载宗室二千人，岁食藩司禄米五万两，故藩贮不足供， 而靖宗亦多不能自存者。
可见，家族的人口之多，盘剥民脂之钜，地方财政负担之重。即使这样，王子王孙的日子还不大好过。顺治九年（1652）农民军攻克桂林，王府的新主人清将孔有德兵败自尽，纵火焚烧，王府化为灰烬。王府建造前，在独秀峰下，唐有学宫，宋有铁牛寺，元称大圆寺，后改万寿殿。王府被毁后，顺治十四年（1657）建贡院。
1921年，孙中山集师北伐曾驻节于此。民国初年，这里先后为第二师范学校、模范小学、第三高级中学、甲种工业学校校址。民国145年（1925）冬， 辟为中山公园。1937年为广西省政府所在地，抗日战争期间被毁，后重建。现为广西师范大学校址。独秀峰巍然矗立，王府旧物，唯余承运殿前的雕栏与云阶玉陛， 有道是无情最是此中山， 阅尽王孙只等闲。
史料记载，明太祖朱元璋自洪武元年（公元1368年）取得政权后，于洪武五年（公元1372年）将其侄孙朱守谦分封到桂林，并在此处按北京故宫的格局建藩邸，众多能工巧匠历时二十年，于洪武二十五年（公元1392年）修建完工。
王府主要建筑，前为承运门，中为承运殿，后为寝室，最后是御苑。围绕主体建筑还有四堂、四亭和台、阁、轩、室，触梗鞭妓庄幻彪潍波璃云阶玉璧、楼阁翘首、对称均衡、完整统一，无所不备。府邸周围是三里长， 五点五米厚，七点九米高的城墙，内外以方形青石修砌，城墙梭角分明，齿形墙堞，透出雄浑无比的阳刚之气。城开东、南、西、北四门，每座城门上筑宏伟的城楼，可谓坚城深门，气势森严。
此前，地处岭南山系西南部的桂林，汉元鼎六年（公元前111年），在此设始安县、始安侯国，后置郡县治所、桂州管府，筑城于此。唐有学宫、宋有万寿殿、清建贡院，此处中状元九人，其中桂林七人，三元及第两人，为全国瞩目。当时打造的三元及第、状元及第、榜眼及第坊至今还镶嵌在此城南、东、西三城门上。一九二一年，设总统行辕，民国大总统孙中山挥师北伐曽驻节于此，后为广西省政府，是桂系李宗仁、白宗禧主持省府的所在地。
王府中的独秀峰，高六十六米，山体扁圆，旁无被阜，峭跋峻秀，有“南天一柱”之称。新武侠开山鼻主梁羽生武侠小说《广陵剑》开篇描写了它“象一枝铁笔，撑住万里蓝天”。峰顶筑有玄武阁、观音堂、三客庙、三神祠，如蓬莱神台楼阁。亭前有十平米平台，双层围栏，踞此眺望，群峰叠翠，田畴芳菲，远山村落，烟岚缥缈。脚下婉蜒回肠的漓江上渔舟星星点点，令人心旷神怡。每当旭日东升，晚霞吐艳，此峰宛若披上紫袍金带，故又名紫金山。山下有碧波荡漾的月牙池，阿媚目秀的柳园，姹紫嫣红的桃园。这是靖江王及其眷属仙境般的御苑。此处名人墨客足迹遍地，仅摩崖石刻一百三十六件，南宋王正功诗题“桂林山水甲天下”名句为其中之一。
靖江王府东为漓江，南为桃花江，西为桂湖，北为伏波山、叠彩山、老人山山系，构成天然的屏障，可谓坚固地道的王府之地。