1896年，第1届奥运会召开前，国际奥委会曾通过法国驻华使馆向清政府发出邀请。但当时的清政府正处于内忧外患之中，对体育事业毫不关心，所以没有应邀参加。1922年，国际奥委会选举我国王正廷为国际奥委会委员。1924年，中国第一个全国性体育组织--中华全国体育协进会成立。同年派出三名网球运动员，在法国巴黎举行的第8届奥运会上作了表演赛(奥运会无正式网球赛)。4年后，中国又派宋如海观光了在荷兰阿姆斯特丹举行的第9届奥运会。1931年，国际奥委会承认中华全国体育协进会。此后，中国正式参加了第10、11、14届奥运会，但均未能取得任何成绩。在此期间，国际奥委会于1939年、1947年选出了我国孔祥熙、董守义为国际奥委会委员。

　　1949年，新中国成立后，原中华全国体育协进会改组为中华全国体育总会(中国奥林匹克委员会)。1952年第15届奥运会时，由于国际奥委会某些人在中国席位问题上有意制造事端，致使我迟至7月才接到国际奥委会的邀请。待我国派出的由足、篮球队与游泳选手组成的40人代表团，到达赫尔辛基时，比赛已近尾声，仅吴传玉一人参加了仰泳比赛。但是，国际奥委会一直拖延解决我中华全国体育总会在该会的合法席位问题，直到1954年在雅典召开的国际奥委会第49届会议上才得到确认。1956年，国际奥委会在某些人操纵下，仍蓄意制造"两个中国"。同年11月6日，中华全国体育总会发表声明，宣布不参加第16届奥运会，以示抗议。1958年，我国中断了与奥委会的一切联系。

　　1979年11月26日，国际奥委会在洛桑宣布，经过国际奥委会全体委员通讯表决，以62票赞成，17票反对，通过了国际奥委会执委会前此于10月在名古屋作出的承认中国奥委会为全国性奥委会的决定。中国体育代表团参加大会时，使用中华人民共和国国歌和国旗。同时，为了照顾台湾的现实情况，仍将台北的奥委会作为中国的一个地方机构，以"中国台北奥委会"名称保留在国际奥委会内，但必须使用有别于迄今使用的歌曲、旗帜和会徵。至此，国际奥委会同我国的关系，才得到了解决。

　　1980年，新中国第一次派队出席了在美国普莱西德湖举行的第13届冬季奥运会。男女运动员共28人，参加了滑冰、滑雪和现代冬季两项等18个单项的比赛。但与世界先进水平差距较大，无一人进入各项前十名。我国未参加同年在莫斯科召开的夏季奥运会。1981年10月，国际奥委会第84次会议选出了我国何振梁为国际奥委会委员。

　　中国参加奥运会情况--
　　中国于1984年重返奥运会，并实现了中国在奥运会历史上金牌零的突破。至1996年，中国共在奥运会上夺得52枚金牌。中国在奥运会上的传统强项为男子体操、跳水、乒乓球、女子竞走、射击、女子游泳等。
　　1984年，在美国洛杉矶举行的第23届奥运会上，中国运动员徐海峰为中国夺得男子手枪速射金牌，实现了中国在奥运史上金牌零的突破。在这届奥运会上，中国队共夺得15枚金牌，列金牌总数第4。
　　1988年，在韩国汉城举行的第24届奥运会上，中国运动员共夺得5枚金牌。
　　1992年，在西班牙巴塞罗那举行的第25届奥运会上，中国运动员共夺得16枚金牌，列金牌总数第4。
　　1996年，在美国亚特兰大举行第26届奥运会上，中国运动员共夺得16枚金牌列金牌榜第四名。还夺得银牌22枚，铜牌12枚，奖牌总数50枚。
　　2000年，在澳大利亚悉尼举行第27届奥运会上，中国运动员共夺得28枚金牌。