Rohrmoos erstreckt sich von ca. 750 Meter Seehöhe (Ennsufer westlich von Schladming) bis auf 2.862 Meter. Der höchste Punkt ist der Gipfel des Hochgolling. Rohrmoos umfasst eine Fläche von 146,34 km² und ist damit größer als die steirische Landeshauptstadt Graz (128 km²).
Hauptsiedlungsgebiet ist der nordöstliche Abhang der Hochwurzen mit zahlreichen Höfen, Gasthäusern und Hotels. Dazu kommt der Fastenberg am Nordwest-Abhang der Planai und die beiden engen, aber langgestreckten Tauerntäler Obertal und Untertal. Die beiden Bäche aus diesen Tälern vereinigen sich im Norden der Gemeinde zum Talbach, der durch eine enge Schlucht steil nach Schladming durchbricht.
In den Bergen an der südlichen Gemeindegrenze (Zinkwand, Vetternspitze) wurde vom Frühmittelalter bis ins 19. Jahrhundert Bergbau betrieben, vor allem Silber, Nickel und Zink. Teile dieser Anlagen sind heute als Museum und Schaubergwerk eingerichtet.
Am Talende des Untertals liegen die Riesachfälle, die als die höchsten Wasserfälle der Steiermark gelten.