俗称观音阁。位于老城北端一小石山上，坐北朝南，略偏西。始建确切年代待考，至迟在清嘉庆初年。文昌阁为一处古寺庙建筑群总称，包括山门、魁星楼、文昌宫、韦驮亭、文昌阁、东西配殿等。东西宽48米，南北长60米，占地面积2900平方米。
其中，文昌阁系水城尚保存较完好之一处寺庙余部，尚存文昌阁及东西配殿，而山门、魁星楼、主持房、韦驮亭等已不存。文吕阁自50年代以来，曾用作单位宿舍而折修改装。继而毁于1958年。
据老人回忆，文昌阁坐落之小山上，长满松柏、皂角、冬青、竹子及花草，文昌阁掩荫于高大树木之下，清净幽雅。每当夜幕降临，干百只白鹤、鹭鸶栖息于树上，倍添生机。今树木绝大部分已伐。
尚存之文昌阁，占地面积216平方米。通面阔五间24米，明间面阔4.6米，一进9米，次间面阔4.1米，一进9米，梢间面阔4.1米，二进9米；通高9.3米。单檐歇山顶，穿斗抬梁混合构架，砖石砌筑四壁，盖青筒瓦。除筒瓦有部分换盖外，木构架、板壁、墙壁、滴水等，均系清代遗物。
东西配殿各为面阔三间，8.7米，一进6.5米，通高5.6米．为单檐硬山，穿斗式，砖木结构，盖小青瓦，占地面积各为56平方米。
文吕阁为此建筑群中主要建筑之一，为三层三檐六角攒尖顶，翼角起翘，盖青筒瓦。底层直径约4米，中上两层高约3.6米，屋顶高约2.1米，通高约13米。底层有6道隔扇，隔扇上段以透雕手法雕有象征吉祥之飞禽走兽图案，裙板上为花草浮雕，垂脊上塑有仙人走兽，翼角均系有铁铃。底层门楣挂一横匾，镌贴金正书“慈航普渡”大字。中层檐下挂一横匾，镌贴金正书“星垣书桓”大字。清道光三十年(1850)，于上层檐下悬一横匾，镌贴金正书“人文蔚起”四字。
门前左右座有石狮一对，天井中央置一化钱炉，重约500公斤，铸造较精细。
文昌阁建筑群，集释、道于一地，系一处具有综合代表性寺庙建筑，对研究清代水城各种宗教文化和建筑有较高参考价值，1988年6月3日公布为县级文物保护单位。