乌尔姆是伟大的理论物理学家阿尔伯特的出生地，他的姓爱因斯坦(Einstein)的德文意思是一块石头。火车站街20号他当年出生的老房子在二战中已炸毁，现在街口立了座纪念碑，上面刻着“1879年3月14日，阿尔伯特·爱因斯坦诞生于此”，而爱因斯坦泉显然是依据大师那幅著名的照片设计的。
乌尔姆还有世界上最高的尖塔教堂，塔顶高161.53米，共有768级台阶。教堂内部可以容纳3万人，是仅次于科隆主教座堂的德国第二大哥特式教堂。始建于1377年，1545年停工，1844年起继续修建，最终完工于1890年，前后花费了500多年才建成。二战中乌尔姆八成被炸毁，教堂主塔只被一枚流弹穿了个窟窿。就这个窟窿，战后的修复花了10年，到1970年才基本恢复原貌，说明倾注数代工匠心血的教堂结构多么复杂。
教堂里的彩绘玻璃除了圣经故事外，爱因斯坦和他的相对论也占了一席之地。而教堂顶上则有一只麻雀的头！据说当年修建教堂时要将长长的木料运进城，横着的木料却怎么也进不了城门。幸亏看见做巢的麻雀叼着树枝顺着进了窝，才把木头运了进来。要是没有麻雀，乌尔姆人说不定至今仍然站在城门前犯愁呢。
历史上乌尔姆曾兴旺发达过，1500年左右成为帝国的第二大城市。当时有这样一首民谣：
威尼斯的武力
奥格斯堡的繁华
纽伦堡的幽默
斯特拉斯堡的大炮
乌尔姆的钱统治着这个世界
后来由于历次战争被不同的统治者占领，不仅改变归属，而且每次都会丧失城市和村镇，甚至在拿破仑统治时先是丧失了独立性而成为巴伐利亚的一个城市，接着在被划回符腾堡被一分为二：多瑙河西北的老城回来了，东南的地区留在了巴伐利亚，成为新乌尔姆。