A zenész a Jazz Crusaders fúziósjazz-formáció egyik alapítója volt. A zenekar az ötvenes években állt össze Texasban. Első albumuk, a Freedom Sound 1961-ben jelent meg. Rains szerint a hatvanas-hetvenes években fontos szerepük volt az akusztikus hangzásról az elektronikus hangzásra való áttérésben a jazz területén. Az együttes később nevét The Crusadersre rövidítette.
Sample 1987 óta építette szólókarrierjét is, olyan zenészekkel játszott együtt, mint Marvin Gaye, Lalah Hathaway, Steely Dan és BB King. Szerzeményei nagy hatással voltak a fiatalabb generációkra is, a rapper Tupac Shakur Dear Mama című dala Samples In All My Wildest Dreams című száma nyomán készült. A Moulin Rouge! című Baz Luhrmann-filmben pedig Nicole Kidman énekelte el One Day I’ll Fly Away című dalát.
Sample Live című utolsó albuma, amelyen az énekes Randy Crawford, Steve Gadd dobos és fia, Nicklas működött közre, 2012-ben jelent meg.
Sample pénteken halt meg Houstonban, a zenésznek tüdőrákja volt, halálát betegsége szövődményei okozták.
