A Cumberbatch család először az 1690-es években érkezett Barbadosra, amikor Joshua Cumberbatch, Benedict nyolcadik dédapja elhagyta Bristolt és családjával emigrált. A barbadosi Bridgetownban jó üzleti érzékkel alapította meg cukornádültetvényét, ahol Afrikából érkező rabszolgákat dolgoztatott.
Joshua nem sokkal később meghalt, így kamasz fiára, Abraham Cumberbatchre hagyta az ültetvényt, aki fokozatosan kezdte felvásárolni a környék ültetvényeit, megépítette a cukorfinomítókat.
Szerencséjük mellett a rabszolgatartásnak köszönhetően válhattak a 18. század leggazdagabb brit családjává, ültetvényeiken kétszázötven rabszolga dolgozott. Kapzsiság, hetvenkedés és megdöbbentő kegyetlenség jellemezte a Cumbarbatchek barbadosi létét, de a rabszolgák sem fogadták el mindig a rájuk kiszabott, sokszor halálos „sorsot”. Számos alkalommal szabotálták a cukortermelést, vagy épp megpróbálták gazdáikat megmérgezni. Az egyik rabszolga, Bussa két hónapig tartó lázadást szított, de végül elestek, őt és mintegy háromszáz társát kivégezték.A szexuális kiszolgáltatottság is a rabszolgák osztályrésze volt: az egyik oldalági rokonnak, Lawrence Trent Cumberbatchnek mulatt nőtől született házasságon kívüli gyermeke, John Edward Cumberbatch. Lawrence 1829-es végrendelete szerint mindkettőjüket fel kellett szabadítani – a fiú a Cumberbatch család egyik figyelemre méltó személyisége lett.
Az ő egyik leszármazottja építette meg 1966-ban az oxfordi Trinity College Cumberbatch-szárnyát.
Az Afrikából szerzett rabszolgák, ahogy Barbadosra érkeztek, elvesztették saját nevüket, a család tulajdonaként ők maguk is Cumberbatchek lettek. New York város jelenlegi főjegyzőjének, Stacey Cumberbatchnek az ősei a barbadosi ültetvényről szöktek Amerikába.
A család főágához tartozó Abraham Perry Cumberbatch egyenes ági leszármazottai a rabszolgatartás eltörlése után Törökországban vállaltak konzuli feladatokat, de a kegyetlenségek nem merültek feledésbe. Benedict színész édesapja nem is merte használni ezt a nevet: Timothy Carlton néven vált ismertté.
