隋炀帝曾数下扬州，建造了历史上久负成盛名、富丽堂皇的北宫。隋炀帝北宫落成后，因占卜结果不吉利，遂舍宫为寺，赐名山火寺。

隋文帝杨坚和隋炀帝杨广，自宣布废除北周禁佛措施后，复兴佛法，听凭私度僧尼，允许百姓出家，并在全国范围内兴修寺庙佛塔，古城扬州一时成为佛教盛地，拥有数百家大小寺庙，当时的情形“天下之人，从风而靡，竞相景慕”。山光寺是当时极富盛名的一座寺庙，它前临漕河，寺身座西朝东，寺房上百，占地百亩，成为茱萸湾一带虔诚佛教信徒烧香敬佛之地。宋苏轼、梅尧臣、米芾诸名家，均有诗记山光寺前的优美景色。清康熙、乾隆皇帝南巡，都曾来此寺拈香游憩。现隋山光寺石碑仍保留在茱萸湾。