位于宝应县西北部，距宝应县政府驻地20千米。东与泾河镇隔京杭运河而望，东南与安宜镇相连，西南与金湖县前锋镇交界，西与洪泽县岔河、仁和二镇相望，北与淮安市楚州区南闸镇毗邻。全镇区域面积63平方千米。
汉代此地曾有山阳池，又传明代有三口井，井旁有三条沟，故称为“三眼沟”，后以谐音“山阳沟”为地名，进而称为“山阳”。山阳历史悠久，杨桥的上生寺始建于东晋隆安元年（379年），古属淮安府山阳县，抗日战争时期划入淮宝县，1950年划入宝应，属山阳区。1958年撤区为乡，1987年撤乡建镇，2000年4月乡镇区划调整，长沟乡并入山阳镇。
