安乐溪乡位于赫章县城西北部，乡政府所在地距县城60公里，位于东经104°40′，北纬27°26′。东接云南省以古镇，东南接结构乡，南接可乐乡，北邻云南省镇雄县的花山乡，处于两省四乡交界处。辖区面积98.2平方公里，共辖13个村，78个村民组，3375户，16792人。少数民族人口占总人口的22%，居住着汉、彝、苗、蔡家等民族。全乡耕地面积14747亩，人均1.11亩，其中25°以上的坡耕地占80%以上。