Menurut waris yang diterima dan tutur yang didengar dari orang orang tua, Sungai Pagu dahulu merupakan sebuah kerajaan, Daulat Rajo Alam yang pertama bernama Inyiek Samsudin Sadewono dan Permaisurinya bernama Puti Lenggo Geni. Inyiek Samsudin Sadewono adalah anak keempat dari Tuan Rabul Jalil dan Puti Lipur Jajak, sedangkan kakak beliau bernama Alisasu Tabri menjadi Rajo pula di Indragiri atau Kuantan yang disebut Kapak Radai Sungai Pagu. Bukti peninggalan kejayaan masa lalu kerajaan ini masih bisa kita saksikan sampai saat ini, berupa Lembaga adat yang dipimpin oleh Rajo Nan Barampek berikut susunan Penghulu Andiko  dan bangunan adat berupa Rumah Gadang /Istana  milik kaum Rajo rajo yang masih berdiri sebagai peninggalan sejarah kerajaan Alam Surambi Sungai Pagu (ASSP).

Rumah Rumah Gadang tersebut antara lain;

– RG. Rajo Alam, Tuanku Rajo Disambah di Pasirtalang d/h di Malayu Kampuang Dalam. Rumah Baanjuang, bapuncak 6, menghadap ke Barat, terletak di Pasirtalang Pusat ASSP, sedangkan Istana Kampuang Dalam dulunya menghadap ke Timur.

– RG. Rajo Adat, Tuanku Rajo Bagindo di Balun. Parik Gadang Diateh. Rumah Gadang Baanjuang Babarando,bapuncak 6, menhadap ke Timur, lokasinya di bagian Utara Sungai Pagu posisinya bagaikan Jaluju/pintu gerbang  masuk ke Sungai Pagu, sesuai dengan posisi beliau sebagai Rajo Adat.

– RG. Rajo Ibadat, Tuanku Rajo Batuah di Panai Pasirtalang d/h di Batu Tunduak.

– Rumah Gadang Panjang, bapuncak 6, menghadap ke Barat atau Kiblat sesuai dengan fungsinya sebagai Rajo Ibadat. Dahulu lokasinya di bagian Selatan Sungai Pagu, Batu Tunduak tepatnya di bagian hilir Sungai Batang Suliti dan Batang bangko.

– RG. Rajo Parik Paga, Tuanku Rajo Malenggang di Mudiak Lolo Luhak Nan Tujuah. Rumah Gadang Baanjuang Sabalah, bapuncak 5, menghadap ke Timur, lokasinya di bagian Barat Sungai Pagu,Mudiak Lolo Luhak Nan Tujuah, sesuai dengan dengan fungsi beliau sebagai penjaga keamanan, manjago langik nak jaan runtuah, manjago bumi nak jaan taban,menjaga musuh yang akan datang dan memungut pajak dan cukai dari Pasisie pantai Barat Sumatera.

– RG. Silang Sari, Inyiek Majolelo di Bendang Pasirtalang. Rumah Gadang bapuncak 5, Rumah Gadang yang dikerjakan Jin selesai  dalam semalam, Inyiek Majolelo adalah salah seorang calon Rajo yang gagal menjadi Rajo karena ditinggalkan oleh empat orang kandidat yang lain yang akan berangkat ke Pagaruyung, karena kecewa merasa di tinggalkan maka beliau pergi menyusul dengan menunggangi seekor kuda, dengan perasaan marah penuh emosi beliau berangkat sambil berucap, kalau rakyat Sungai Pagu tidak mau menjadikan beliau Rajo, maka biarlah Jin atau Iblis saja yang ma Rajo kannya, beliau melompat naik ke atas kuda seraya melecutnya, kuda berlari sambil meringkih dan bekas telapak kuda tersebut masih masih bisa kita saksikan sampai saat ini, sesampai di dekat kaki bukit pada sebuah Banca/rawa rawa Inyiek Majolelo beserta kudanya terperososok dan hilang tengelam ke dalam Banca tersebut. 

– RG. Panjang, Puti Alam, Puti Lenggo Geni di Sigintir Pasirtalang. Rumah Gadang Panjang, bapuncak 7, menghadap ke Barat, milik kaum Dt. Sutan Mamat, Puti Lenggo Geni mempunyai adik perempuan bernama Puti Kumayan Alam, Puti Kumayan Alam saat itu merasa kecewa karena tidak terpilih menjadi Permaisuri Rajo Alam dan pergi meninggalkan Rumah Panjang dengan beberapa pengikut, mendaki ke bukit sebelah Timur membawa sebilah Parang, dengan emosi bukit tersebut di rambah terus di panggang , sampai sekarang lokasi bukit tersebut bernama Ladang Panggang, perjalanan diteruskan menuju ke Bukik Kandi, menetap beberapa musim di Kandi kemudian ditinggalkan karena lahannya tidak bagus untuk didiami karena airnya  mengandung penyakit. Dengan menggunakan rakit kayu Kulin akhirnya rombongan Puti Kumayan Alam menghiliri Sungai Batanghari sampai ke Sungai Dareh terus ke Bukik Gadiang, Bukik Gadang, Sikabau. Di Sikabau menetap berkembang dan basibau/membentuk 3 Penghulu, Dt.Penghulu, Dt. Nan Gadang, Dt. Mangkuto Rajo. Puti Kumayan Alam wafat dan dimakamkan di Sungai Mimpi. Keturunan Puti Kumayan Alam ada yang ke daerah Sangir, di Dusun Tangah menjadi Penghulu bergelar Dt.Rajo Kaciak, di Abai Penghulu bergelar Dt. Rajo Lelo, di Ranah Pantai Cermin Penghulu bergelar Dt. Suri Dirajo, di Bidar Alam Penghulunya bergelar Dt. Rajo Alam. Di Abai tersimpan Parang yang dibawa dari Sigintir, sedangkan sarungnya ada tertinggal di Sigintir Pasirtalang.

Inilah sekilas kisah tentang peninggalan sejarah Alam Surambi Sungai Pagu.

HH112020