Die genaue Herkunft des Jiu Jitsu ist unbekannt. Es wird vermutet, dass die Ursprungsform im Zuge des Kulturaustausches bereits im 10 Jahrhundert (als Kempo, Hakuda, Shuhaku) von Mönchen und Händlern aus China nach Japan gebracht wurde.

Sicher ist, dass es in Japan schon lange vorher Formen der unbewaffneten Selbstverteidigung gab. Diese wurden aus dem traditionellem Sumo entwickelt.

Im Laufe der Jahrhunderte entwickelten sich nicht nur die anfangs primitiven Techniken, die mit Techniken aus den chinesischen Kampfschulen verbunden wurden, sondern änderte sich auch die Bezeichnung des damaligen Jiu Jitsu (Yawara, Kumi Uchi, Wajutsu, Kogusoku, Kempo, Hakuda, Hakushu,Taijutsu, Mawari, usw.).

Genaugenommen gab es kein klassisches Bujutsu ryu (Kampfkunst-Schule), welches nur auf den Gebrauch der leeren Hand (ohne Waffe) beruhte. Diese Auffassung des heutigen Jiu Jitsu entstand erst in der Meiji-Zeit und später. Für die Mittelalterlichen Samurai war der Gebrauch der leeren Hand recht selten, da die Gegner so gut wie immer bewaffnet waren. Sinnvoller Weise wurden damals im Nahkampf kraftvolle Ringkampftechniken eingesetzt. Dabei wurde versucht den Gegner mit einem Kurzdolch zu besiegen.

Über Jahrhunderte entwickelte sich das Jiu Jitsu stets nur parallel zu den jeweiligen Waffensystemen der verschiedenen Schulen.

Im Jahre 1616 gründete Oguri Niemon das Oguri Ryu . Um den Kampfgeist auch in friedvollen Zeiten ungemindert zu bewahren, führte er als Unterichtszweig das Wajutsu  ein. Niemon passte dabei die Techniken so an, dass sie auch in Straßenkleidung angewandt werden konnten.

Eine andere Bezeichnung aus der Edo-Periode war Taijutsu. Einer der Hauptstile dafür war das Nagao ryu, welches Anfang des 17. Jh. von Nagao Kenmotsu gegründet wurde.

Eine weitere Entwicklung des waffenlosen Kampfes konnte man im Yagyu Shingan ryu erkennen. Die Techniken der leeren Hand entwickelten sich immer mehr zum Hauptinhalt des Stils.

Den stärksten chinesischen Einfluss erfuhr das Jiu Jitsu im Jahre 1659, als der chinesische Shaolin-Mönch Chen Juan Bin nach Japan kam und im Shokokuji-Kloster, in der nähe von Edo, drei Samurai in einer Art des chinesischen Ringens (Shuaijiao) unterrichtete. Seine Lehre beeinflusste das alte Kito ryu und bewirkten die Entstehung von drei neuen Systemen (Fukono ryu; Miura ryu und Isogai ryu). Diese Stile verbanden die chinesischen Techniken mit dem bereits bekannten Kumi uchi und Yawara. Dieses neue System erhielt den Namen Ju Jutsu bzw. Jiu Jitsu. 

Das System der leeren Hand - der waffenlose Kampf

Das waffenlose Jiu Jitsu entwickelte sich in der friedvollen Zeit der Tokugawa-Herrschaft aus den kriegerischen Nahkampfmethoden der Bushi (Krieger).

Obwohl der Nahkampf traditionell immer auch alle Waffen mit einschloss, entstammt das heutige Jiu Jitsu einer Zeit, in der das Tragen von Rüstungen und Waffen nicht mehr aktuell war. In der friedlichen Zeit der Tikugawa-Periode verbreitete sich die Kampfmethode der leeren Hand daher schnell als Selbstverteidigungssystem. Sie beruhte auf weniger Kraft als das kriegerische Kumi uchi und räumte so auch körperlich unterlegenen Gegnern eine Chance ein. Die Systeme enthielten Tritt-, Schlag-, Wurf-, Würge-, Hebel-, Abführ-, Fessel-, und Festhaltetechniken. Trotzdem lehrten die meißten Jiu Jitsu Schulen den Kampf mit Waffen, insbesondere mit dem Schwert. So entstanden Kombinationen zwischen Jiu Jitsu und Kenjutsu.

In der Tokugawa-Periode gab es in Japan etwa 700 Schulen. Jede entwickelte eigene Techniken und so wurde das das technische Gebiet des Jiu Jitsu bald unüberschaubar groß.

Mitte des 19 Jh., als in Japan eine Verdrängung gegen alles traditionelle einsetzte, geriet das Jiu Jitsu in Vergessenheit und wurde nur noch wenig geübt. Durch den Niedergang des Ritterordens (Meiji-Periode) verlor die Kunst an Bedeutung, und es gab nur noch wenige Japaner, die diese Selbstverteidigungskunst beherrschten.

Ende des 19 Jh. wurde die beinahe schon vergessene Kunst in den Lehrplan der Tokyoter Universität aufgenommen. Einer der Schüler war Kano Jigoro. Er entwickelte aus dem kriegerischen Jiu Jitsu indem er alle gefährlichen Techniken aussonderte, das Judo, welches bereits 1964 als Sportart in die Olympischen Spiele aufgenommen wurde.

Aufgrund der Effektivität des Jiu Jitsu wird es heute weltweit von den verschiedensten Sicherheitsdiensten trainiert.