赤谷乡位于安福县东北部，东临吉安县油田镇，南接本县瓜畲乡、山庄乡，西北交分宜县钤山镇，距县城27公里，分文铁路贯穿乡境西部。全乡总面积86.9平方公里，辖7个行政村，55个村民小组，人口8594人（均为汉族江右民系），全乡党政组织健全，乡党委下设15个党支部（其中2007年6月新组建了4个非公有制规模企业支部和1个汽车运输合作社支部），共有党员310名。