方形堡建于1879年，采用厚砖墙，地板铺以木板，窗门采木制半圆弧型艺术雕刻，古堡上端设有炮眼口，有防御功能。这座堡垒曾经作为监狱的一部分，在1993年建设河滨公园时，老监狱的部分被拆除，古堡则用作音乐喷泉控制室、历史照片和短片馆，之后一度改装为精品专卖店、小型咖啡座和便利店。
今天在四方堡营业的是一家西餐厅Magenta。坐在二楼用餐，望向悠悠的砂拉越河，感受19世纪英国堡垒的风情，也是别有一番风味。餐厅的墙上还挂着不少古晋老照片，更添古色古香。