东晋永和三年（347年），仙居正式立县，初名乐安，属临海郡。北宋景德四年（1007年），宋真宗以“洞天名山，屏蔽周卫，而多神仙之宅”，下诏改县名为仙居。
仙居县位于浙江省东南，台州市西部，县境北靠天台县，东临黄岩区，南邻永嘉县，西接缙云县。迎晖门位于仙居县城门的东门，是仙居县城遗留的古建筑之一。仙居县建成于唐朝上元二年（675），当时的城墙是用泥土夯成的，全城周长3里左右，东西长1.2里。至宋宣和间，在旧城的基础上重新修筑，并设东西南三门，门上冠楼。
至南宋，仙居经济得到很大发展，淳熙八年(1182)，理学大师朱熹两次到仙居，史称“晦翁传道江南而台特盛”。因此，在南宋153年间，仙居科举鼎盛。自唐至清，仙居县217名进士中，仅南宋一朝就占了180名(文进士76人，武进士104人)，科举盛，人才出。南宋时仙居县涌现了一批享有“一国之望”的人物：南宋初年名臣龙图阁直学士吴芾、诤诤谏臣郭磊卿、户部侍郎郑雄飞、世界上第一部食用菌专著《菌谱》作者陈仁玉及南宋末年丞相吴坚等。由于朱熹来仙居传书讲经，东门迎晖门东南方的福应山上建有朱文公祠，为纪念理学大师朱熹曾二次来仙居讲学而建的。朱熹不仅自己来仙居讲学，还送儿子来仙居学习，曾写下了一首题为《送子入板桥桐江书院勉学诗》：
当年韩愈送阿符，城南灯火秋凉初。
我今送郎桐江上，柳条拂水春生鱼。
汝若问儒风，云窗雪案深功夫。
汝若问农事，晓烟春雨劳耕锄。
阿爹望汝耀门闾，勉旃勉旃勤读书。
仙居城区的南峰山，矗立于县城东侧的永安溪畔，山上的南峰塔，与安洲塔、福应塔形成三塔鼎立之势，相传三塔为风水塔。从迎晖门到南峰山大概三里地左右，南峰山因“一峰南立”得名。《光绪仙居县志》称，“其巅四面轩舒，山水环拥，为邑人游览之最，有题咏甚盛”。在宋代的时候，便有绍熈间进士张次贤，与提举陈庸、安抚郭晞宗等玩月南峰，并留下了“秋风载酒，依孤岳以踌躇；兰友摩肩，俯长流而慷慨。呜呼！美人不再，佳会难逄。聊赋短章，用抒遐绪”的感慨。
到了明代，倭寇屡犯县城，时任县令姚本崇奏请批准，耗银十万两改建土城为石城，明嘉靖丙辰开始筑石城，拓城西地五里，广三丈，高四丈，垒石为之，三十丈立一铺，五十丈立一台，列五门，门上有楼，下为斗门，以便民。仙居石城城门，东门日：迎晖，楼曰：启明，南门日：来熏，楼曰：宣泽，西门日：庆丰，、楼日：惕庚，北门曰：拱辰，楼日：思荩，小南门曰：省耕，无楼。抗倭胜利后，宦门名士应存鲁，慷慨解囊，捐款数千金，独立承担修缮迎晖门。
仙居城的发展和修繕，为文人来仙居雅游创造了条件，史有西门张堂赏与吴时来等人的雅游（详见张堂赏《和吴寤斋中丞见示南峯雅会之作》），后又有县令“陈起龙、萧鸣盛輙于此际置酒，与文士酣饮其中。溪中制画舫十数，箫鼓杂奏，或溯流而上，或顺流而下，衔杯眺之，以为娱人”，事实上，这种文人的吟咏聚会曾一直延续到了清嘉庆、咸丰年间，以致于使得当时的朱华（朱松涧）等人的聚会无端多了吊古之思（详见朱华《山人余事草》）。
如今仙居城只剩下迎晖门，其余四门尽毁。现在的迎晖门三字为著名书法家沙孟海所写，烟霞第一城为清亁隆年间时任仙居知县的何树萼所写，最上面的启明楼三字，则据说是元代仙居文人柯九思的笔迹。
迎晖门的南面是永安溪，是古时仙居的黄金水道，是仙居对外交流的主要运输通道。史载，永安溪运输最繁忙时期，木船达七百多艘，竹筏达三百多张。来自沿海的食盐等货品物产溯灵江而上，进入仙居后沿永安溪至皤滩，再由皤滩陆路经苍岭转销至浙、赣、皖、湘等内陆地区；内陆地区的桐油、瓷器等货物则由陆路经苍岭抵达皤滩后，装船起运到临海、椒江等地，再经海船销往宁波、上海等大城市。除去像皤滩一样的大埠头外，永安溪的各大小支流上也到处是小埠头。永安溪成为台州沿海与内陆的交通大动脉。而古时迎晖门下各邻县商旅往来，文人墨客登楼雅会，呈现出一片繁荣热闹景象。