Som alle de andre danske officerer i Frikorps Danmark havde Just Nielsen en fortid i den danske hær. Derudover havde han også været med i den anden Finske Vinterkrig på finsk side ligesom en del andre danske soldater. Han kommer dog aldrig i kamp.
Just Nielsen er med fra starten i Frikorps Danmark, da han melder han sig til Waffen-SS i sommeren 1941. Han kommer først i 2. kompagni, men da kompagnichefen Per Sørensen skifter til 1. kompagni tager han sin unge delingsfører Just Nielsen med sig. Indtil sin død fører Just Nielsen denne deling.
Da Frikorpset ankommer til fronten i maj 1942 har Just Nielsen vundet sig et stort navn i Frikorpset. Hans evner som delingsfører er der ingen, der sætter spørgsmålstegn ved.
Da Frikorpset den 28. maj 1942 skal udfører sit første egentlige angreb på fjenden melder Just Nielsen sig frivilligt til at lede operationen. Angrebet lykkedes perfekt, men da soldaterne skal til at trække sig tilbage til egne stillinger regner granater og tung maskingeværsild ind over deres stillinger. En af de første dræbte er Just Nielsen, der rulle ned af en skrænt og ned i Robja åen, hvor han må efterlades.
Frikorpsets kommandant von Schalburg udtaler senere samme dag: "Der mistede jeg min bedste officer!".
Just Nielsen opnår som den første dansker den såkaldte føreranerkendelse.