Kim byl po určitou dobu druhým nejdůležitějším mužem Jižní Koreje po tehdejším diktátorovi Pak Čong-hiovi, který stál v čele Jižní Koreje 18 let až do svého zavraždění v říjnu 1979. Kim se stal jeho švagrem a zároveň šéfem KCIA, kterou sám založil. Za Paka a znovu v letech 1998 až 2000 za prezidentování dřívějšího disidenta Kim Te-džunga vykonával také funkci předsedy vlády.

Když úřadoval Pak, unesli Kim Te-džunga do Jižní Koreje z jeho tehdejšího tokijského exilu. Z později zveřejněných dokumentů vyplývá, že za akcí stála KCIA. Před prezidentskými volbami v roce 1997 uzavřel ale Kim Te-džung s Kim Čong-pchilem mocenský pakt a vyhrál je.