Máximo Francisco Repilado Muñoz nacque a Siboney, presso Santiago di Cuba. Fu un precoce talento musicale: compose la sua prima canzone (Yo vengo aquí) a quindici anni e cominciò a suonare il clarinetto a tredici, nel 1920, per poi passare successivamente alla chitarra e all'armonico, uno strumento musicale di sua invenzione a sette corde simile ad una chitarra.

Fece parte di varie formazioni ma il grande successo popolare arrivò quando, insieme a Lorenzo Hierrezuelo, formò il duo Los Compadres.

È a quel periodo che risale il soprannome di "Compay Segundo", attribuitogli da un presentatore radiofonico in quanto nel duo egli faceva la seconda voce, mentre Lorenzo Hierrezuelo venne soprannominato "Primo Compay".

Negli anni cinquanta forma i “Compay Segundo Y Su Grupo”, ma successivamente il suo nome finisce nell'oblio e Compay Segundo, pur non abbandonando mai la musica, lavorò in una fabbrica di sigari.

Negli anni novanta, ormai in pensione, il mondo musicale tornò ad occuparsi di questo arzillo vecchietto che così ebbe la possibilità di tenere concerti anche in Europa. Il vero grande successo arriva però nel 1997 con il film Buena Vista Social Club di Wim Wenders e con l'album della colonna sonora, che vinse numerosi premi Grammy.

Compay, dopo l'uscita del film di Wim Wenders e il relativo successo, tenne anche alcuni concerti in Italia. All'età di 93 anni entrava in scena ballando e restando in piedi per oltre un'ora.

Il Grupo Compay Segundo, del quale adesso è direttore e contrabbassista Salvador, il figlio di Compay, è accompagnato nei suoi spettacoli dalla coppia di ballerini italiani Roberta Pierazzini e Paolo Angelini.