Le Carlton on Madison est situé sur Madison Avenue entre les 28ème et 29ème rues. L'hôtel est facilement accessible par le réseau ferré des trains de banlieue de Penn Station (Amtrak, NJ Transit et LIRR), Grand Central Station (Metro North) et les bus de la ville de New York, ainsi que la ligne de métro de Lexington Avenue. Il se trouve à 20 minutes de l'aéroport de LaGuardia et à 35 minutes de l'aéroport international John F. Kennedy.