Srb, který funkcionářskou dráhu zahájil už v 21 letech, byl prvním mužem českého sportu v pěti volebních obdobích v letech 1990 až 2010. Jeho nástupcem v čele organizace, která se později transformovala v Českou unii sportu (ČUS), se stal Pavel Kořan.
České plavání vedl rovněž dvacet let od roku 1995. Poprvé se ale plaveckým předsedou stal už před listopadem 1989. V roce 2015 jej nahradil Petr Ryška, zatímco Srb byl jmenován čestným předsedou. Srb působil jako trenér v Bohemians Praha a také jako mezinárodní rozhodčí.
Na přelomu tisíciletí byl šest let členem technické komise plavání Evropské plavecké federace (LEN) a následně pracoval ve stejném orgánu dálkového plavání při světové organizaci FINA. Člen Síně slávy českého a československého plavání nedávno obdržel od výkonného výboru ČSPS čestné uznání za rozvoj plaveckých sportů v České republice.
