小南山位于乌苏里江中游，饶河县城之南。山有二峰，主峰大南山，海拔106m，小南山位于北侧，海拔不足百米。南北纵向望之，二山浑一如团，是延踞江岸上下200余华里的唯一制高点。小南山上绿树成荫、鸟语花香，漫山遍生柞、桦、杨、椴等上百种灌木。
山下乌苏里江迤逦而过，江水环绕，洲岛错落。依偎在南山下有一湖汊，江柳遍布，为乌苏里江古河道淤塞所形成的积水区，枯水期水域呈链锁状，自成体系；汛期时形成网状歧流和港汊。每当夏秋之季，登山而望，江水萦带，如蛇如链，歧流如爪，状有西湖之概。
古人云：“山不在高，有仙则名”。小南山之风披，可为名者流。小南山东坡，1971年出土了石斧、玉器、陶器，证明为新石器时代及两千余年前，我国古肃慎人及渤海时期之古居民遗址。大南山断崖下发掘出七具猛犸象牙齿及打砸石器，证明此地一万年前即有人类世居。山上有抗战时期遗留下的战壕地道，至今仍然保存完好。
小南山上建有县文物馆和抗日英雄纪念碑是国家重点文物保护单位，碑正面有前高官陈雷的题词：“饶河抗日游击队纪念碑”十个大字。上嵌有抗联战士石雕像，碑像总高为16.6米，石碑背面（南）题有“抗日烈士，永昭千秋”八个字。
