开元寺始建于东魏兴和二年(540年)，寺内现存主要建筑为三门楼、天王殿、须弥塔、钟楼和法船殿遗址。其主殿在后，钟楼、须弥塔于殿前左右对峙的布局则是唐代佛教寺院建筑布局的典型实例，在我国建筑史上占有重要地位。2006年由国务院公布为全国重点文物保护单位。
三门楼位于寺院最南端，建于唐如意年间(692年)，是出入开元寺必经之路口。整座建筑雄壮豪放，体现了盛唐时期的建筑风格。令人称奇的是，在三门楼的石柱上镌刻有佛经、佛像、供养人像、赞语和题名等，具有较高的历史、艺术、科学价值。2008年对三门楼残存石柱进行了修复，使其重立于原址，再现了昔日雄姿。
须弥塔位于法船殿遗址前西侧，始建于唐贞观十年(636年)。高42.5米，是一座砖石结构九级密檐式方塔。第一层正面辟拱券门，门楣上端嵌“须弥峭立”石额。二层以上塔身渐收，并于正面开一方形小窗，顶端塔刹，砖砌刹座，中间雕仰莲，金属刹杆，装四宝珠。形式古朴，稳重端庄，外形与西安大雁塔相似。虽经明代大修，仍保持明显的唐塔风格。2005年，对塔进行了加固和局部维修，此次维修在塔刹宝珠内发现金银器、玉器、铜器、玛瑙、丝、绢、经书等各类文物千余件。
钟楼与须弥塔相对而立，是一座平面呈正方形歇山顶式二层楼阁建筑，面阔进深皆为三间，四周有台明环绕，在结构上保持着早期建筑古朴庄重的风格，是我国现存唯一的一座唐代钟楼。钟楼上悬钟一口，造型古朴，亦为唐代遗物。
2000年，将五代时期成德军节度使安重荣纪功残碑移至开元寺内保存。该碑出土于城内府前街，其巨型赑屃碑座长8.4米，宽3.2米，高2.6米，重107吨，实属罕见，堪称“国内第一”。
