Sejarah berdirinya Institut Karate-Do Indonesia (INKAI) tidak terlepas dari sejarah perkembangan seni bela diri karate di Indonesia. Setelah PORKI terpecah pada tahun 1970, maka berdirilah beberapa perguruan shotokan yang didirikan oleh alumni JKA (Japan Karate Associations) seperti :
- LEMKARI yang didirikan oleh Anton Lesiangi
- INKADO yang didirikan oleh Alm. Baud Adikusumo
- INKAI yang didirikan oleh Sabeth Muchsin
Berdirinya INKAI berawal dari rapat yang dilaksanakan di jalan Matraman Dalam Jakarta Pusat, pada tanggal 15 April 1971 (yang akhirnya disepakati sebagai hari lahirnya INKAI). Dalam rapat yang berlangsung dari mulai pukul 09.00 hingga 18.00 WIB tersebut dihadiri oleh beberapa karateka eks PORKI seperti, Sabeth Muchsin, Nico A. Lumenta ( Tuan Rumah ), Abdul Latief, Sori Tua Hutagalung (alm.), Albert L. Tobing, Wono Sarono, A.S Siregar ( alm.) dan salah satu karateka INKAI yang belakangan diketahui sebagai pembuat dan menggambar lambang INKAI bernama Harsono Rubio (alm.)
Setelah selesai rapat maka hasilnya adalah ketua umum INKAI pertama yaitu Letjend G.H. Mantik dan sebagai ketua Dewan Guru INKAI pertama adalah Sabeth Muchsin. Dalam sejarahnya INKAI telah memalui banyak rintangan, namun itu semua berhasil dilewati dan telah berhasi meraih berbagai prestasi yang mengharumkan nama bangsa.
Tanggal 25 Mei 1971, INKAI resmi berdiri sebagai perguruan anggota FORKI dan oleh PB FORKI, INKAI ditunjuk mewakili Indonesia mengikuti kejuaraan karate WUKO 1 di Jepang. Dan Inkai juga merupakan anggota resmi afiliasi JKA yang bekedudukan di Jepang.