Bithynialılar zamanında yapılmaya başlanan kale daha sonra ihtiyaç duyuldukça Roma, Bizans ve Osmanlı İmparatorluğunca çeşitli onarımlara tabi tutulmuştur.
Surlarda görülen kiklopien taşların önemli kısmı Roma devrine ait sütunlar, lahit parçaları, adak mezar steli, heykel kaideleri, şeref kitabeleridir. Bunlar hisar kapının doğusunda yoğunluk kazanmaktadır. Surların sadece güney kısmındakiler çift duvarlı ve beş köşeli burçlarla sağlamlaştırılmıştır.

1326 yılında Bizanslılardan alınan Bursa'nın surları Orhan Gazi tarafından üç köşeli burçlarla takviye edilmiştir. Çakır Ağa Hamamı ile Tophane arasında biri silindir gövdeli, ikisi üç köşeli büyük burç kalıntıları vardır. Bunların arasında yer alan Hisar Kapı 1855 yılındaki depremde yıkılmıştır. Buradan doğuya dönen surlar, evin bahçe duvarlarına temel vazifesi yapmıştir.

Yıldız Kahve'den güneye uzanan surlarda yuvarlak kemerlerle mazgal delikleri görülmektedir. Kahvenin önünde Kaplıca Kapı yer almaktadır. Yıkık duvarlar halinde devam eden surlar, Zindan Kapıya bağlanmaktadır. Zindan Kapı yanındaki köşeli burç Çelebi Sultan Mehmet tarafından 1418 yılında yaptırılmıştır. Zindan Kapıdan Üftade'ye kadar nisbeten sağlam devam eden surlar, Pınarbaşı Kapısı'na oradan da Üftade yanındaki Yer Kapı'ya ve tekrar Çakır Ağa Hamamı karşısında bağlanmaktadır. Pınarbaşı Kapı ile Zindan Kapı arasında birbirine paralel uzanan surların kesme taşlı bölümleri yerlerinden sökülmüş olduğundan şimdi sadece moloz taştan kireç kum harcı ile örülmüş kısımları ayaktadır. Pınarbaşı Kapı ile Zindan Kapı arasındaki ön surlar, evler arasında kaybolmuştur. Diğer sur kalıntılarında ise bu kısımda yapılan evlere giriş kapıları ve boşluklar Osman Gaz oluşturulmak maksadı ile tahribatlar yapılmıştır.