Né à Choiseul (Haute-Marne) en 1945, Yves Simon est issu d'une famille modeste. Son père était cheminot et sa mère infirmière. Très tôt, il se passionne pour la musique et les mots. A 15 ans, il fonde son premier groupe de rock, les Korrigans, dans lequel il est guitariste. Le bac en poche en 1961, il fréquente d'abord la faculté de Nancy où il étudie le théâtre, avant de débarquer à Paris, où il prépare le concours d'entrée de l'IDHEC, école spécialisée dans l'étude des métiers du cinéma, et suit parallèlement des études de lettres à la Sorbonne. Il débute par la suite un voyage en Europe et aux États-Unis.

De retour en France, il sort deux 33 tours, entre 1967 et 1969, Ne t'en fais pas petite fille et La Planète endormie. Les deux titres passeront quelque peu inaperçus. Son premier vrai succès arrive en 1973, grâce au 33t Au pays des merveilles de Juliet (RCA). Le public s'entiche du chanteur écrivain et l'album reçoit le Grand Prix de l'Académie du disque. Il va alors faire les premières parties de plusieurs vedettes de la chanson, comme Georges Brassens ou Maxime Le Forestier. Parallèlement à son activité de chanteur, il mène de front une carrière d'auteur et d'écrivain  ("Les Jours en couleur" et "L'homme arc-en-ciel" en 1971, "Transit-Express" en 1975) et intègre même la rédaction d'Europe 1.

En 1973, le deuxième album d'Yves Simon, Respirer chanter confirme ses talents d'auteur-compositeur. Il obtiendra un disque d'or et donnera une série de concerts à L'Olympia et... au Japon. Mais bientôt, la lassitude s'installe, palpable sur l'album Macadam (1976). En 1977, il prend ses distances d'avec la scène pour se consacrer pleinement à la littérature. Sort tout de même la bande originale du film de Diane Kurys "Diabolo Menthe", dont Simon signe la chanson-titre.

Il revient deux ans plus tard avec l'album Demain je t'aime, et participe au projet musical "Emilie Jolie". Mais c'est avec fracas qu'il entre dans la décennie 80, avec l'album Une vie comme ça (1981). Yves Simon verse à présent dans le politiquement rock (Mitterrand vient d'être élu Président de la République), marqué en partie par le titre "Qu'est-ce que sera demain ?".
Le 6 août 1982, le chanteur se produit en live à Hiroshima, pour la commémoration des bombardements atomiques d'août 1945. L'année 88 va être une année faste pour Yves Simon. Musicalement déjà, puisqu'il rencontre un beau succès commercial avec l'album Liaisons, pour lequel il a collaboré avec un certain Jean-Jacques Goldman. Au niveau littéraire également, puisque son roman "Le voyageur magnifique" remporte le Prix des Libraires. Une récompense n'arrivant jamais seule, il reçoit quelques temps plus tard le Prix Médicis pour "La Dérive des sentiments". Il faudra attendre l'année 1999 et la sortie de l'album Intempestives pour qu'Yves Simon fasse son come-back sur scène.

En 2007, le chanteur se produit lors des Francofolies de La Rochelle et publie un nouvel album studio, Rumeurs.