En novembre 1943 il se rend donc à New York avec 60 dollars en poche. Les premiers jours il allait à l’hotel, mais à 2 dollars la nuit ça devint vitre trop couteux. Alors à l’instar de l’Empereur Marc Aurèle il opte pour un plancher dur en guise de lit estimant que c’était bien meilleur pour la santé qu’un véritable lit et affirmant que les médecins ralliaient également ce point de vu. A la « Big Apple », comme disaient les jazzmen pour désigner New York, il travail comme modèle pour des Écoles d’Art, il existe un tableau le représentant, intitulé « The Young Blind Composer », qui fut exposé au Canergie Hall jusqu’en Juin 1944. Il fabriquait aussi des ceintures de cuir qu’il vendait aux touristes.
C’est à cette époque également qu’il fréquente les concerts du Philharmonique de New York, la première fois qu’il s’y rend il assiste à la représentation d’une pièce de Beethoven. Le vendredi suivant il y retour et c’est là bas il fait la connaissance de personnalités du monde de la musique tel qu’Arthur Rodzinski, Leonard Bernstein ou encore Arturo Toscanini et Stravinsky. Louis assistait aux répétitions posté à la porte de la salle, le premier violoncelliste de l’époque le présenta à Rodsinsky qui lui demanda ce qu’il désirait, Louis lui répondit qu’il était un jeune compositeur fraichement arrivé à New York et qu’il souhaitait simplement l’autorisation d’assister aux répétitions.
Rodzinski qui fut très impressionné par l’allure du jeune Louis, (le soir même il dira à sa femme : « Aujourd’hui j’ai eu un gros choc. J’ai vu une personne avec le visage du Christ ») accepte et trois ans durant Louis assista aux répétitions.Leonard Bernstein, qui était l’assistant de Rozinsky à cette époque et Leonard Busch, le premier violoniste, apprirent à Louis comment diriger un Orchestre. Après trois ans Rodzinski quitta le Carnegie Hall, où l’Orchestre donnait des représentations, et le patron demanda à Louis de s’habiller plus correctement, de façon « moins artistique », s’il voulait continuer de fréquenter le lieu. En effet, Louis avait la particularité de s’habiller de façon très particulière, à l’époque il portait des vêtements qui lui donnait une allure ecclésiastique, une longue cape de moine à capuche, d’une chemise marron et d’un foulard marron noué autour de son cou et décoré d’une chaîne d’argent à la quelle pendait une point de flèche Indienne. . « Je vis, pense, et m’habille d’une façon qui m’est personnelle », répondra Louis qui resta donc à l’écart.