Né dans une famille de musiciens en 1932, dans l'Etat de New York, le jeune Mark Murphy fera ses débuts dans la musique en chantant dans le groupe de son frère, jusqu'a son diplome en musique et théatre en 1953. Conscient de son talent de chanteur, Mark participera à des Jam Sessions. Il se fera ainsi repérer par le crooner Sammy Davis Jr. ce qui marquera le début de sa carrière.
Ayant déménagé à New York, le jeune chanteur sort son premier album "Meet Mark Murphy" en 1956. La carrière du jeune chanteur ne s'envolera réelement qu'en 1961, lors de la sortie de son album "RAH" [Riverside], sur lequel il sera accompagné au piano de Bill Evans et Wynton Kelly, du trompettiste Clark Terry, du tromboniste Urbie Green et du batteur Jimmy Cobb.
Durant les années 60 et 70, le chanteur atteindra le niveau internationnal de sa carrière, traversant le monde pour de nouvelles tournées. Il s'interessera au cours des années 80 à la musique brésilienne. Tombé malade en 2012, le chanteur a vu son état de santé s'aggraver au fil du temps.
