Philipp študoval na Akadémii výtvarných umení vo Viedni v majstrovskej triede sochárstva u  Carla Kundmanna a Caspara von Zumbuscha. Od roku 1908 bol členom viedenského Künstlerhausu a vytvoril množstvo pamätníkov a fontán v meste Viedeň. Počas prvej svetovej vojny, v roku 1916, bol prijatý do umeleckej skupiny Imperial and Royal War Press Quarter ako vojnový sochár, a ako umelec schopný frontovej služby bol pridelený k náhradnej rote vojenskej polície č. 10 v St. Pöltene. V roku 1917 pracoval na nových uniformách rakúsko-uhorskej armády vo svojom ateliéri na Dornbacherstrasse 4a vo Viedni. Krátko pred koncom vojny dostal Karl Philipp Rytiersky kríž rádu Františka Jozefa s vojnovými vyznamenaniami ako uznanie za svoje zásluhy vo vojne. Dňa 9. novembra 1918 bol spolu so všetkými ostatnými umelcami v umeleckej skupine nad 42 rokov vyradený zo služby.V povojnovom období realizoval pomník Adalberta Stiftera vo viedenskom Türkenschanzparku, pomník Josefa Maderspergera na námestí Karlsplatz a Franziskusbrunnen v osade  Starchant. Philipp zomrel vo veku 77 rokov v rodnej Viedni, je pochovaný na cintoríne v Dornbachu. Popri vojenských portrétoch vyhotovoval aj sošky cisára Františka Jozefa (naposledy v roku 1914).