上海体育博物馆的位置是绝对的市中心，比邻国际饭店，不过门头低调，更大的招牌是“上海市体育局”，所以入门参观者并不见多，观展体验良好。
一楼展出是上海近代体育交流与竞赛，一个知识点是参加柏林奥运会的70名选手中，至少两名献身于抗日战争的历史天空，其中之一是唯一通过预赛的撑杆跳国手符保卢。
二楼是奥林匹克专区，记录自1896年始历届奥运会及上海籍选手（如刘翔、陈芋汐，也包括挂靠上海体育局的外省选手，如邹市明、刘子歌）在奥运会上的佳绩。
另一展区是上海承办的国际体育竞赛，陈列有众多国际大咖留迹的纪念物品。底楼在举办F1中国赛20年特展。
博物馆所在的体育大厦前身是1928年落成的西侨青年会大楼，美国工艺美术派风格，本身即自带历史与设计感。