香港於一九五二年參與首次奧運，當屆於芬蘭的赫爾辛基舉行，港隊在整個賽事中共派出四人參賽，正式揭開踏足奧運的序幕。不過，其後兩屆都因地點遙遠等各種問題，均只得兩人參賽，但去到六四年的東京奧運，派出三十四人參賽，創出當時香港紀錄。

去到七二年德國慕尼黑奧運會，香港派出十二名選手出戰，但不幸地遇上「黑色九月」的巴勒斯坦激進武裝份子，而香港選手正正在被恐怖份子包圍的選手村內。當時團長楊格在清晨時聽到巨響，出門一看發現兩名持槍男子，站於一名染了血跡躺在地上的男子附近，而當他接到香港記者的電話後，才得悉被恐怖份子包圍。幸好經前奧委會會長與恐怖份子交涉後，港隊成員能夠離開現場，而警方最終亦平亂了事件。

到九六年美國亞特蘭大奧運，香港終於創出歷史，憑土生土長的「風之后」李麗珊於滑浪風帆中，奪得歷史性首面金牌，為香港於奧運寫下光輝一頁，而她的成功亦激發起香港在運動的發展。到去屆○四年悉尼奧運，「乒乓孖寶」李靜及高禮澤於男子雙打賽中奪得銀牌，成為香港回歸後首面獎牌。