1928至1930年間，本港一群足球愛好人士組成傑志足球隊，參加香港足球總會舉辦之丙組聯賽，足球隊其後更參加其他賽事。1931年前，傑志體育會的前身便在這群熱心人士促成下成立。
 

1931年，球會正式成立，並命名為傑志體育會。當時，隊中的成員都是社會的草根階層，收入及經濟程況較差，遠遜其他本地球會。雖然希望成立真正的體育會，但因無力籌集設施及行政等經費，未能成事。
 

1934年，傑志體育會發起「一仙運動」以籌集款項增置會所，在各人集腋成裘下，最終租賃了灣仔莊士頓道130號四樓為會址。球隊隨即於1938年勇奪乙組銀牌冠軍，但當時的會務純以足球為主，未涉及其他運動項目。
 

1939年至1945年的太平洋戰爭，讓傑志體育會會務被迫中斷，而戰火亦波及到球會會所，摧毀傑志體育會多年來存放的文獻。
 

香港於1945年重光後，傑志隨即重啟足球活動。在重建職業球壇方面，球會全力協助復興中華業餘體育協會，協助組織香港華人足球聯會，發起組織香港華人足球裁判會，發起組織香港華人足球員聯誼會，為足球運動寫下新的光輝一頁。同時，球隊在賽場上均取得佳績，分別於1948年、1950年、及1964年三度贏得甲組聯賽冠軍，也在1950年、1954年、1960年、及1964年奪取高級組銀牌。然而，球隊在六十年代起表現開始反覆，先於1965-66年甲組聯賽以11名降班到乙組，後更曾於丙組作賽。1992年，傑志羸得乙組聯賽冠軍後隨即升回甲組，惟於1995年以末名再度降班至乙組。