Das Carlton on Madison befindet sich auf der Madison Avenue zwischen der 28. und 29. Straße. Das Hotel ist bequem mit dem Nahverkehrszug über Penn Station (Amtrak, NJ Transit und LIRR), Grand Central Station (Metro North) und mit der U-Bahn (Haltestelle "Lexington Avenue") oder Bus (New York City Transit) zu erreichen. Es ist 20 Minuten vom LaGuardia Airport und 35 Minuten vom Kennedy International Airport entfernt.