Urodził się 28 października 1895 w Tarnowie, jako syn Walentego i Anny z Kozłów. Miał córkę Lilianę i synów Tadeusza i Kazimierza.
Po ukończeniu gimnazjum w 1913 uczestniczył w ruchu niepodległościowym w 14 Drużynie Strzeleckiej pod pseudonimem „Józef Porębski”. 6 sierpnia 1914 udał się do Krakowa, by znaleźć się pod dowództwem Józefa Piłsudskiego. Do 30 września 1917 służył w I Brygadzie 1 pp. Legionów, biorąc udział we wszystkich bitwach. Po raz pierwszy został ranny pod Łowczówkiem. Po kryzysie przysięgowym jako obywatel austriacki został wcielony do wojska i wysłany na front włoski, skąd w czasie urlopu zdezerterował, by działać w konspiracji P.O.W.
15 listopada 1918 wstąpił do Wojska Polskiego, gdzie znalazł się na froncie ukraińskim do sierpnia 1919. Pod Kostiuchnowką został ranny po raz drugi. W lutym 1920 walczył z bolszewikami na froncie wschodnim, dowodząc 9 kompanią 23 pp. pod Dynenburgiem. Po raz trzeci został ranny pod Okuniewem na Wileńszczyźnie w czerwcu 1920. W lipcu 1920 walczył na Lubelszczyźnie, a następnie w ofensywie sierpniowej znad Wieprza, we wrześniu w bitwie nad Niemnem. Od 14 października 1920 roku dowodził batalionem, awansując na kapitana. Za udział w wojnie z bolszewikami nadano mu ziemię w Koszylnie, w powiecie Włodzimierz Wołyński. Po skończonej wojnie służył w Lublinie, Włodzimierzu, Toruniu, Brodnicy, Poznaniu i Równem (dowódca KOP Zdołbunów).
3 września 1939 objął dowództwo 38. Dywizji Piechoty rezerwowej. Walczył w okolicach: Sądowej Wiszni, Lasów Janowskich, Brzuchowic i Lwowa. Po wkroczeniu wojsk sowieckich i rozformowaniu dywizji przez gen. Sosnkowskiego, chory i wyczerpany powrócił do Równego. Aresztowany około 10 października 1939, został wywieziony 17 października przez Szepietówkę do Starobielska, stąd do wiosny 1940 roku przychodziły listy. Zginął w Charkowie.
Za męstwo, odwagę i pełną oddania służbę odznaczony:
– Krzyżem Virtuti Militari V klasy
– Krzyżem Niepodległości
– Krzyżem Walecznych (czterokrotnie)
– Krzyżem I Brygady Legionów
– Srebrnym i Złotym Krzyżem Zasługi
– Krzyżem Kawalerskim Odrodzenia Polski
– Medalem Pamiątkowym za Wojnę 1918 – 21
– Medalem 10-lecia Odzyskania Wolności
– Rumuńskim Orderem Orła Białego IV klasy
– Odznaką I Brygady za wierną służbę w 1916 roku (odznaczony bezpośrednio przez Józefa Piłsudskiego)
W 2007 roku postanowieniem Prezydenta RP Lecha Kaczyńskiego Józef Pecka pośmiertnie został mianowany na stopień generała brygady Wojska Polskiego.