词源追溯只能作为参考，以下是个人意见。
~に及ばず=~必要がない
数えるに及ばず：多到“没有数的必要”。
---------
是非に及ばず：没有评论是非/对与错的必要，这么做即使是错的，那也“实在是没法子；不得已”。