Если нужно контролировать каждый процесс - то да, через limits.conf.
А есть более гибкое решение (и соответственно более сложное) - через cgroups. Позволяет выставлять лимиты не только на память/CPU, но и disk и network на целые группы процессов. Правда cgroups достаточно новая фича, так что документации пока неособо много. И кстати не факт что в lenny есть, разве что с backport-ядром.