ухты, интересное устройство! я так понимаю что там "из коробки" стоит нечто под названием BusyBox,а ты его окучил и поднял там debian? насколько я увидел в этом busybox нет iptables и squid...
похоже в конфиге трансмишн все ограничения по скорости отключены, хм
iptables мощнейшая прога, при неправильном написании правил, ядро обсчитывая все пакеты займёт всё процессорное время, и система встанет. смысл состоит в правильном распределении траффика по пользовательским цепочкам - зачем ядру обрабатывать пакеты которые не нужны, их нужно отбросить самыми первыми правилами (к примеру пакеты с неправильными заголовками, несвязанные пакеты)
правда в таком случае система будет и отдавать и принимать с трудом. у меня такое было; для шлюза и торрента использую старый комп, и както чёто не то написал и система встала, мышь в иксах почти не двигалась :Dесли в этом NAS всё таки есть iptables то можно попробовать для начала сохранить имеющиеся правила и потом обнулить все(-X; -F) и посмотреть, что будет с раздачей при политиках accept, потом конечно лучше задать политику output drop и пропускать только established and related соединения.
ну и всё таки попробовать поставить новый transmission, в репах дебиана уж очень стары...стабильный пакет

всегда смеюсь когда его называют little and tiny bittorrent client. для его установки нужно будет из репов закачать примерно мегов 250 не помню точно.
есть howto для себя, под спойлером:
со
squid я близко не знаком, но знаю что им можно ограничивать канал к пользователям...(неверно предположил, что он есть)
хотелось бы услышать мнение больших голов. если вышеуказанное не поможет - то я иссяк :/ я пока недостаточно опытен