İktidarı elinde bulunduran Cumhuriyet Halk Fırkası'na karşı bir muhalefet havası esmeye başlamış, çeşitli yönleriyle şikayetler muhalifler tarafından ortaya çıkarılmıştı. Parti'nin Meclis üzerinde baskı yaptığı iddia ediliyor, bunun kaldırılması isteniyordu. Cumhuriyet Halk Fırkası'ndaki ayrılıklar, 17 Kasım 1924'te Ankara'da Terakkiperver Cumhuriyet Fırkası'nın yani yeni bir partinin doğmasına sebep oldu.

Yeni parti, Meclisin ikinci döneminde Cumhuriyet Halk Fırkası'ndan ayrılan milletvekillerinin katılması ile Meclis içinde kuruldu. Fırka'nın başkanı General Kazım Karabekir, İkinci Başkanı H.Rauf Orbay (eski başbakan) ve genel sekreteri de Ali Fuat Cebesoy'du.

Terakkiperver Cumhuriyet Fırkası'nın programı şu esaslara dayanıyordu: Partinin sistemi liberalizm ve halkın hakimiyetidir. Genel olarak hürriyetlere taraftardır, dinsel düşünce ve inançlara saygılıdır. İdari yönden, yerinden yönetimin gerçekleşmesine çalışacaktır. Cumhurbaşkanının, seçiminden sonra milletvekilliği ile ilgisi kesilecektir. Mustafa Kemal Paşa, demokratik düzenin kurulmasını, istediğinden, yeni Partinin kuruluşundan memnun olmuştur. Yeni parti için; "Bırakınız, karşımıza çıksınlar, memleket işlerini münakaşa edelim ve bizim Meclisimizde de iki parti olmalı, hükümeti denetleme sistemi kurulmalı ve medeni ülkelerin parlamentolarına benzemeliyiz" diyordu. Fırka, Mecliste hayli asabi bir hava içinde doğmuş, müzakerelere katılmış, hükümetten çeşitli sorunlar hakkında bilgi istemiştir. Bu sert çekişmeler, özellikle bütçe görüşmeleri sırasında doruğa çıkmıştır. Doğu Anadolu'da patlak veren Şeyh Sait İsyanı, İstiklal Mahkemeleri'nin geniş yetkilerle kurulmasına, Takrir-i Sükun Kanununun çıkmasına sebep olmuştur. İstiklal Mahkemeleri, Terakkiperver Fırka mensuplarının irticai faaliyetleri hakkında hükümeti ikaz etmişler, önce Diyarbakır İstiklal Mahkemesi kendi yetki alanında bulunan Terakkiperver Cumhuriyet Fırkası şubelerinin kapatılmasına karar vermiştir. Hükümet ise, Takrir-i Sükun Kanunu'na dayanarak, 3 Haziran 1925 tarihinde bütün memlekette irticayı tahrik etmesi nedeniyle Terakkiperver Cumhuriyet Fırkası'nın kapatılmasını kararlaştırmıştır.