En 2012, quand Silva avait 16 ans, il a pris l’aéroport international John F. Kennedy à New York depuis le Gabon. Il ne connaissait pas l’anglais à l’époque et n’avait aucune expérience du basket-ball. Quand il a attiré l’attention de l’entraîneur de basket-ball de Roselle Catholic High School, Tommy Sacks, il a dit: « Entraîneur, je vais à la NBA. »
Sacks a ensuite déclaré: « Son plafond est si haut, l’un des plus hauts que j’ai jamais vu, car il veut aller mieux. » Il veut vivre dans la pièce. il veut se faire tirer dessus. Au départ, avec l’équipe de basket-ball catholique Roselle, Silva n’était pas au courant des règles du jeu. Dans sa saison senior, son équipe a remporté le championnat d’État.
Silva a attiré l’attention des programmes de basket-ball universitaires tels que Seton Hall et Rhode Island, et a finalement signé avec les Gamecocks de Caroline du Sud. Silva a déclaré: « C’est une excellente école, de bons entraîneurs. J’aime tout à ce sujet, l’éducation, le soutien qu’ils apportent aux joueurs après leur carrière – tout. »