Cách đây hàng ngàn năm, khi trụ trì tại chùa Thiếu Lâm (Shorinji) ở Trung Quốc, Bồ Đề đạt ma (Bodhidharma) đã dạy cho các môn đồ một môn võ thuật để rèn luyện sức khỏe và tu luyện tinh thần. Ông đòi hỏi các môn đệ phải tuân thủ theo một kỷ luật nghiêm khắc và đây cũng là một nội dung rèn luyện cơ bản trong phần tu đức của các môn sinh. Kể từ đó môn võ này được phát triển, truỳen bá sâu rộng và chỉ ít lâu sau đã trử nên nổi tiếng khắp Trung Quốc với tên gọi Thiếu Lâm (Shorin).
Nói đến môn võ Karate nhiều người vẫn lầm tưởng là môn võ của Nhật Bản vì nó đã được phát triển và trở nên nổi tiếng ở Nhật Bản rồi từ đó mới được truyền bá ra khắp năm châu nhưng thực ra nguồn gốc xuất xứ của nó lại là từ đảo Okinawa, một thuộc địa của nhật bản trước đây. Okinawa có nghĩa là "Sợi dây thừng ngoài biển khơi", một tên gọi tượng hình đầy ý nghĩa vì đây là hòn đảo chính, hình thoi nằm trải dài trong quần đảo Ryukyu, có một đầu hướng về Trung Quốc, còn đầu kia lại hướng về Nhật Bản. Chính do vị trí địa lý như vậy cho nên suốt một thời giân dài Okinawa đã trở thành nơi tranh chấp quyền lợi của Trung Quốc và Nhật Bản.
- Tuy nhiên do ảnh hưởng của Trung Quốc tới hòn đảo này lớn hơn nên nền văn hóa của Trung Quốc đã xâm nhập vào Okinawa từ rất sớm và trong đó có môn võ Thiếu Lâm. Theo sử sách ghi lại môn quyền thuật này có thể đã được truyền bá vào Okinawa từ thời nhà Đường (Từ năm 618 đến 906 sau trung nguyên). Đây là môn võ luyện tập chiến đấu bằng tay không, được người Okinawa rất hâm mộ, tích cực hưởng ứng tham gia luyên tập và được gọi với tên mới là TODE. TO có nghĩa là nhà Đường, DE là Đường Thủ hay môn võ của nhà Đường.
- Đến thế kỷ XIV khi mối quan hệ giữa Trung Quốc và Okinawa đang chặt chẽ, đã có một cuộc di dân lớn của Trung Quốc sang Okinawa vào năm 1393 và điều này đã gó phần thúc đẩy việc truyền bá và phát triển mạnh mẽ của môn võ thiếu lâm trên hòn đảo này.
- Năm 1609 Okinawa bị lảnh chúa Satsuma xâm chiếm và đặt dới sự cai trị của Nhật Bản. Sợ dân chúng nổi dậy chống lại sự cai trị của mình, người Nhật đả cấm dân chúng dùng vũ khí và người nào mang theo vũ khí sẽ lập tức bị bắt và bị nghiêm phạt. Đến năm 1669 ngay cả các lò rèn chuyên sản xuất các loại vũ khídùng trong các ngày lễ củng bị đóng cữa. Sự nghiêm cấm hà khắc này đã thúc đẩy người dân Okinawa lén lút tập luyện môn võ TODE để sử dụng chính bàn tay của mình làm vũ khí chiến đấu. Ba võ đường đầu tiên là Shuri, Naha và Tomari đã được mỡ dứoi những căn hầm bí mật để tránh sự phát hiện của đế quốc Nhật. Tới năm 1692, các võ sư trên một mặt trận thống nhất chống kẻ thù đã đổi tên môn võ này thành Okinawa-te. "Te" có nghĩa là tay, còn Okinawa có nghĩa là môn võ của Okinawa và người Okinawa đã sử dụng chính môn võ này để chống lại kẻ thù.
- Trải qua suốt một thời gian dài, mãi đến năm 1903 môn Okinawa-te mới được Nhật công nhận và được phép đưa vào giảng dạy trong các trường học ở Okinawa. Lúc này Okinawa-te đã được đổi tên thành Karate Jutsu. Kara là tiếng hán chỉ nhà đường, te là tiếng Okinawa chỉ tay còn Jutsu là tiếng Nhật có nghĩa là nghệ thuật. Như vậy danh từ Karate Jutsu đã mang tính kết hopự của ba nền văn hóa: Trung Quốc - Okinawa - Nhật Bản và tên gọi này vẩn mang hàm ý gợi lại về cội nguồn của môn võ thuật này.
Sau một buổi xem biểu diễn môn Karate Jutsu ở Nhật, Nhật Hoàng Hirohito đã ỏ ra rất thích thú và ông đã đề nghị Bộ giáo dục Nhật mời một võ sư Okinawa lừng danh sang biểu diễn. Năm 1922 một võ sư lừng danh và đồng thời cũng là một nhà tri thức nổi tiếng, ông Gichin Funakoshi (Sinh năm 1871 và mất năm 1957 hưởng thọ 87 tuổi), người hiện nay là tổ sư của môn võ Karate hiện đại đã sang biểu diễn ở Nhật. Sức thuyết phục qua những buổi biểu diễn của ông đã dẩn đến kết quả là võ đường dạy Karate Jutsu đầu tiên đã được mở tại Đại Học Keio ở Tokyo vào năm 1924, sau đó các trường Đại Học khác ở Tokyo Shoka Wascda cũng lần lượt các võ đường để truyền dạy môn võ này chẳng bao lâu sau số võ sinh theo học Karate Jutsu ở Nhật còn hơn cả Okinawa. Năm 1930 một võ sư đồng môn của Funakoshi là Mabuni đã sang Osaka để truyền dạy hệ phái của mình. Hệ phái này về sau đã được phát triển thành hệ phái Shito, còn hệ phái của Funakoshi là Shotokan. Ở Okinawa một võ sư đồng môn khác với Mabuni là Miyagi cũng tách ra để truyền dạy hệ phái của mình vứi tên gọi là Goju (Go: là cương, Ju: là nhu). Sau này còn rất nhiều hệ phái nữa tiếp tục ra đời, cho đến nay theo ước tình cả ở Nhật và Okinawa đã có tới trên 100 hệ phái.
- Karate Jutsu đã phát triễn rất nhanh ở Nhật và vào năm 1932 môn võ này đã được đưa vào giảng dạy ở các trường học, đồng thời tên gọi Karate Jutsu đã được rút gọn lại thành Karate-do. Tuy vẫn là chử Karate nhưng lần này từ Kara đã được hiểu là "Trống Không" chứ không phải là Trung Quốc như trước, chữ Te vẫn có nghĩa là tay và chữ Do là đạo thay cho chữ Jutsu. Như vậy người Nhật đã biến Karate thành môn võ của mình và kể từ đó họ đã cải tiến môn võ này theo nguyên tắc khoa học, đơm giản và dễ tập với ba nội dung cơ bản là: Kata (Quyền), Kumite (Đối luyện) và Kihon (Kỹ thuật căn bản). Tuy nhiên cho đến trước năm 1940 việc truyền dạy Karate vẫn là các thế căn bản và các bài quyền đồng thời môn võ này cũng chỉ được coi như là một môn thể thao thuần túy chưa có sòng đấu.
- Sau đại chiến thế giới lần thứ II, Karate-do mới bắt đầu được truyền bá ra nước ngoài. Năm 1956 ông Tsutomu Ohshima đã mang Karate sang phổ biến tại Mỹ và hiện nay đây là quốc gia có phong trào Karate phát triễn mạnh nhất ngoài Châu A.
- Chỉ sau một thời gian ngắn Karate-do đã được phát triễn rộng khắp trên thế giới và vào năm 1960 liên hiệp Karate-do Thế giới (World Union Of Karate-do Organizations) viết tắt kà Wuko đã được thành lập. Tổ chức này chịu trách nhiệm định kỳ tổ chức các giải vô địch Karate-do thế giới và giải vô địch Karate-do Thế giới lần thứ nhất đã được tổ chức tại Nhật vào năm 1970: Lần thứ hai được tổ chức tại Pháp vào năm 1972 và lần thứ 3 ở Losangeles - Mỹ vào năm 1975.
- Năm 1994 các liên đoàn Karate-do Quốc gia trên Thế giới đã họp và thống nhất đổi tên tổ chức này thành Liên đoàn Karate-do Thế giới (World Karate-do Federation) với hơn 100 nước thành viên và Viẹt Nam cũng đã trở thành thành viên chính thức. Liên đoàn Karate-do Thế giới có nhiệm vụ chỉ đạo và định hướng cho các hoạt động của các Liên đoàn Karate-do châu lục và khu vực: Thúc đây sự phát triển của môn Karate-do và đẩy nhanh tiến trình thức hiện các công việc, thủ tục cần thiết để đưa Karate-do trở thành môn thể thao thi đấu Olympic.