皇子出生后乃至幼年时，因需母亲抚育照料，一般随母亲居住在东西六宫，乃至稍稍长成至五六岁，一般就要移到专供皇子居住的地方。
皇子的住所不能称宫，只能称所（想到还珠格格里五阿哥说自己住在景阳宫，那琼瑶也不读读书再写～），位置在御花园东西两侧，东西六宫的北端，号称东五所和西五所。因紫禁城后寝部分以乾清宫为主座宫殿，故东西五所正式名称为“乾东五所”和“乾西五所”。东西五所各由五组并列的三进院落组成。康熙时皇子都住在东西五所，按规定白天到上书房念书、放学后回所，到成年后才给予封号，搬到内务府分配给他的府邸。由于清代不立太子，诸皇子集中住在一两处，所以当其中一位皇子继承皇位的，原居处就成为“潜龙邸”。那是不能再作为后代皇子居所的，以免生觊觎之心、非分之想，一般升格为宫，作为皇帝临时小住之地或挪作他用。乾隆本来住在西五所，继位之后西五所便升崇为宫。乾隆将祖父康熙比作古代圣帝尧，自比明君舜。舜字重华，因此乾隆在改造潜龙邸的时候就将此处命名为重华宫。
乾隆儿子很多，他既然将西五所升为宫，便于乾隆十一年将明代端本宫改建为南三所，作为皇子住处。明代东五所的西部三所改成总管太监值班的敬事房和四执库、古董房、寿药房、如意馆等库房，东部二所仍作为皇子居处，乾隆三十九年皇十五子颙琰即在此成婚。颙琰后来移居南三所，道光帝就出生在南三所中所。道光时起国家财政紧张，不管潜龙邸与否，都没钱修了，皇子们还是在南三所居住。
