The Carlton on Madison está ubicado en la Avenida Madison entre las calles 28 y 29. Se puede acceder a él fácilmente tomando los trenes de cercanías que llegan a la estación Penn (Amtrak, NJ Transit y Long Island Rail Road) y a la estación Gran Central (Metro North), los autobuses de New York City Transit o la línea de metro en Lexington Avenue. Está a 20 minutos del aeropuerto de LaGuardia y a 35 minutos del aeropuerto Kennedy International.