давняя проблема с NAT

[kr0t]

Из мана:

TCPMSS
This target allows to alter the MSS value of TCP SYN packets, to control the maximum size for that connection (usually limiting it to your outgoing interface's MTU minus 40 for IPv4 or 60 for IPv6, respectively). Of course, it can only be used in conjunction with -p tcp. It is only valid in the mangle table.

Соответственно, иное поведение не предусмотрено

Очень сомневаюсь что "не предусмотрено", тем более что правило работает и без поддержки таблицы mangle.

Есть ещё вот такой ман.

Typical usage would be :

# iptables -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

# iptables --list
Chain FORWARD (policy ACCEPT)
target prot opt source destination
TCPMSS tcp -- anywhere anywhere tcp flags:SYN,RST/SYN TCPMSS clamp to PMTU

Вот коммит которым добавлен функционал по работе с TCPMSS в 2000 году:

Marc Boucher's TCPMSS patch.
author Marc Boucher <marc@mbsi.ca>
Sun, 27 Aug 2000 11:24:00 +0000 (11:24 +0000)
committer Rusty Russell <rusty@rustcorp.com.au>
Sun, 27 Aug 2000 11:24:00 +0000 (11:24 +0000)
commit 53adeb104c6065b89db5393c7ad64898d03e4b95
tree 15360bc3a3842fcd30aecfa11406bedfed79f378
parent 524518261009f3f81febfdd8398becc4a80cc941

В коде нет ограничений на работу только с таблицей mangle, и правило прекрасно работает в таблице filter, в цепочке для транзитного трафика.

А вот этим коммитом в 2005 году были внесены изменения в man на который Вы ссылаетесь.

Add note that TCPMSS is only valid in the mangle table (not true today, but maybe someday)
author Patrick McHardy <kaber@trash.net>
Mon, 5 Dec 2005 01:22:50 +0000 (01:22 +0000)
committer Patrick McHardy <kaber@trash.net>
Mon, 5 Dec 2005 01:22:50 +0000 (01:22 +0000)
commit dbbcf273e98f9efff9e644cf98207a3eac6fc63a
tree 3d7b5ad1313598273fb715ea0a653d7a585ad830
parent 72bd87e13b76818f5c690a9097080123ff698bc2

Вам не кажется, что "не предусмотрено", "должно выглядеть" - это слишком категоричные суждения?