Die genaue Herkunft des Jiu Jitsu ist unbekannt. Es wird vermutet, dass die Ursprungsform im Zuge des Kulturaustausches bereits im 10 Jahrhundert (als Kempo, Hakuda, Shuhaku) von Mönchen und Händlern aus China nach Japan gebracht wurde.

Sicher ist, dass es in Japan schon lange vorher Formen der unbewaffneten Selbstverteidigung gab. Diese wurden aus dem traditionellem Sumo entwickelt.

Im Laufe der Jahrhunderte entwickelten sich nicht nur die anfangs primitiven Techniken, die mit Techniken aus den chinesischen Kampfschulen verbunden wurden, sondern änderte sich auch die Bezeichnung des damaligen Jiu Jitsu (Yawara, Kumi Uchi, Wajutsu, Kogusoku, Kempo, Hakuda, Hakushu,Taijutsu, Mawari, usw.).

Genaugenommen gab es kein klassisches Bujutsu ryu (Kampfkunst-Schule), welches nur auf den Gebrauch der leeren Hand (ohne Waffe) beruhte. Diese Auffassung des heutigen Jiu Jitsu entstand erst in der Meiji-Zeit und später. Für die Mittelalterlichen Samurai war der Gebrauch der leeren Hand recht selten, da die Gegner so gut wie immer bewaffnet waren. Sinnvoller Weise wurden damals im Nahkampf kraftvolle Ringkampftechniken eingesetzt. Dabei wurde versucht den Gegner mit einem Kurzdolch zu besiegen.