Conçu à l'origine comme intercepteur embarqué, uniquement armé de missiles, ses débuts furent si prometteurs que l'USAF l'adopta à son tour comme chasseur tactique et fut suivie rapidement par une nombre impressionant d'arméees de l'Air de par le monde, ce qui explique que certains exemplaires soient toujours en service de nos jours. L'US NAvy et l'USMC, à l'origine du projet, utilisèrent l'appareil dans quatre de ses versions principales, auxquelles s'ajoutent les variantes spécialisées dans la reconnaissance aérienne.
La genèse du Phanthom II remonte à l'été 1953 lorsque Mc Donnell chargea une de ses équipes d'ingénieurs de moderniser une de ses précédentes réalisations : le F3H Demon. En juillet 1959 le F4H-1 fut officiellement baptisé Phantom II, en hommage au Mc Donnell FH-1, premier avion à réaction américain prévu pour être embarqué dès sa création en 1953.