Passou a infância num orfanato. Frequentou a Escola Secundária George Washington e, depois de deixar a escola, começou a trabalhar em vários empregos. Robbins começou aos 20 anos vender açúcar para o comércio atacadista. 