Kaj Gustav Feilberg var uddannet bager, inden han før besættelsen fik kontakt til DNSAP og blev medlem af partiets stormafdeling SA. Feilberg gjorde hurtigt karriere i SA. På kort til avancerede han til stormfører for SA i København.
Kort efter besættelsen den 9. april 1940 søger Feilberg optagelse i Waffen-SS. Den 20. juni 1940 tager han derfor sammen med 39 andre kammerater fra SA og NSU til Klagenfurt, for at indtræde i I. Bataljon i det nyoprettede SS-Regiment "Nordland". Senere kommer Feilberg til 7. kompagni i SS-Regiment "Nordland", der befinder sig i Wien.
Da operation "Barbarossa" (angrbet på Seovjet-Rusland) begynder den 22. juni 1941 er Feilberg med. Under kampene udmærker han sig og tildeles bl.a. jernkorset af anden grad, stormmærket og de såredes medalje i sort. I april 1942 sendes han så på orlov i Danmark, hvor SS-Sturmmann Feilberg er med ved Frikorps Danmark kommandør C.F. von Schalburgs sidste store tale i K.B. Hallen den 3. maj 1942.
Herefter kommer Feilberg til 3. kompagni i Frikorps Danmark. Frikorpset er klar til frontindsats og Feilberg er med under frikorpsets kampe ved Demjansk og senere ved Welikije Luki. Under kampene forfremmes han til SS-Unterscharführer. Han såres også og tildeles derfor de såredes medalje i sølv.
Den 1. februar 1943 sendes Feilberg til SS-officersskolen i Bad Tölz for at blive uddannet underofficer. Herfra graduerer han den 31. juli 1942 med titel af SS-Standartenoberjunker.
Fra SS-skolen sendes han til panseropklaringsenheden ved SS-Regiment Nordland, hvor efter et par måneder forfremmes til SS-Untersturmführer og delingsfører i 4. kompagni. Under kampene ved Oranienbaum bliver Feilberg den 12. februar 1944 tildelt jernkorset af første grad. Han bliver omtrent samtidig såret og sendes i april 1944 på en længere orlov i Danmark.
Hjemme på orlov melder han sig, som han skal, i Frimurerlogen på Blegdamsvej, hvor Schalburgkorpset holder til. En anden såret dansk frontofficer SS-Untersturmführer Erik Vagn Fenger er også hjemme på orlov og melder sig samtidig. I Frimurerlogen møder de en fælles kammerat fra uddannelsestiden i Bad Tölz SS-Untersturmführer Erik Spleth, der er tilknyttet Schalburgkorpsets Efterretningstjeneste E.T.
Da et nationalsocialistisk ægtepar i Slagelse netop er blevet likvideret tager Feilberg og Fenger under protest med på mission til Slagelse for at foretage nogle anholdelser. Under missionen dræbes Lektor Albert Ibsen koldblodigt af ET-manden Berthelsen, der senere den 17. maj 1944 selv likvideres af modstandsbevægelsen.
Til bage i København protesterer begge frontofficerer til deres gamle Frikorpschef K.B. Martinsen, der nu er chef for Schalburgkorpset. Begge officerer sendes efter eget ønske tilbage til fronten. Feilberg kommer igen til panseropklaringsenheden ved SS-Regiment Nordland.
Efter Feilberg endnu en gang er blevet såret ved fronten kommer han i november 1944 til SS-Panseruddannelses- og reserveenheden i SS-Division "Nordland". Herfra kommer han i januar 1945 igen tilbage til panseropklaringsenheden, men denne gang som kompagnifører for 4. kompagni. Senere bliver han kompagnifører for 3. kompagni. Den 2. maj 1945 bliver han under gadekampene i Berlin såret for 7. og sidste gang.
Feilberg blvier reddet af en fransk sygeplejerske og kommer under falsk identitet i russisk krigsfangenskab. Herfra løslades Feilberg 6 måneder senere, da man tror, at han har tilført den almindelige tyske hær. Feilberg kommer herefter til Østtyskland og senere igen til Vesttyskland.
Feilberg vender aldrig tilbage til Danmark, da han her er eftersøgt for mordet på Lektor Labert Ibsen. Han dør i 1998.