第74軍是1937年9月1日在浙江組建，由王耀武第51師(轄周志道151旅、李天霞153旅)和俞濟時第58師(轄吳繼光174旅、邱維達172旅，該師系國民政府警衛1旅擴編而成，是74軍的骨干)合編而成，俞濟時任軍長(俞濟時是黃埔1期畢業，浙江奉化人，蔣介石的外甥)。全軍共8個團，2.1萬人。

74軍成軍不久就參加了淞滬會戰，南京保衛戰，多次與日軍浴血撕殺，傷亡過半。經過補充74軍先后參加徐州、蘭封會戰。在蘭封會戰中74軍在羅王寨、三義寨、曲興集攻堅戰中與日軍第14師團激戰，斃傷日軍益田兼英步兵中佐、森永澄雄步兵中佐等1000余人。

1938年7月德安戰役(又稱萬家嶺戰役)爆發，74軍第58師重創106師團第113聯隊，但是58師也付出巨大代價，10月7日，國軍調整兵力，發起全線總攻。74軍作為主攻部隊奉命攻擊日軍在萬家嶺地區的核心陣地張古山，第51師多次猛攻均未得手，后有人獻計(三國鄧艾偷襲陰平)從山后偷襲，團長張靈甫并親率突擊隊從山后偏僻小道襲占張古山。殲滅106師團所部步兵第111旅團第147聯隊第1大隊鬼冢義淳所部，305團攻占張古山，為突破日軍106師團防線立下頭功。戰役中74軍守得住攻得上，居功至偉。戰后著名作家田漢任光曾以此戰和張該戰為原型編寫了話劇和74軍軍歌。軍歌歌詞如下：起來，弟兄們，是時候了。我們向日本強盜反攻。他，強占我們國土，殘殺婦女兒童。我們保衛過京滬，大戰過開封，南潯線，顯精忠，張古山，血染紅。我們是人民的武力，抗日的先鋒。人民的武力，抗日的先鋒！

此后，74軍與友軍圍殲106師團，日軍損失慘重，戰斗的殘狀與日后在瓜達卡納爾島、新幾內亞、因帕爾等南方戰場上日軍的慘狀記錄相類似。此戰中幸存下來的日軍輜重兵第106聯隊士兵那須良輔在戰后仍然心有余悸地回憶道：“戰友們大部都受傷，也有些因為饑餓和疲憊而倒下來。死在水溝的戰友們，他們的臉色都變成茶色而浮腫，白花花的蛆蟲從他們的鼻孔和嘴巴掉下來。一連幾天都沒吃東西，只能從漂浮著同伴尸體的水溝里舀臟水喝，活著的人也都快變成了鬼。我也覺得我的死期到了。對著十月的月亮，我放聲大哭。”

此戰，日軍戰死傷第145聯隊第1大隊長寺川完步兵中佐、野炮兵第106聯隊第2大隊長海老原毅炮兵中佐、第145聯隊第2大隊長河井豐步兵中佐、第147聯隊第2大隊長梅田治助步兵中佐、師團參謀成富成一步兵中佐、輜重兵中尉東鷗哲雄等10000余人，106師團幾乎全滅。

1941年3月，74軍參加上高會戰，上高位于江西錦江上游，日軍采取分進合擊戰術，兵分三路;33師團、第20旅團、34師團企圖合圍國軍主力于高安、上高地區。但南北兩路進攻均被擊退，中路日軍孤軍深入，又遭到74軍堅強抵抗，3月22日日軍集中萬余兵力在數十架飛機掩護下猛攻74軍云頭山、白茅山陣地，74軍與日軍反復爭奪，先后7次與日軍白刃肉搏，日軍全線潰敗，74軍乘勝追擊，收復官橋。此戰，擊斃214聯隊長浜田十之助大佐、擊傷日軍日軍第34師團長巖永旺少將，師團參謀長櫻井德太郎大佐兵敗后逃回駐地自殺，整個上高會戰共斃傷日軍1.5萬。此役74軍戰功顯赫，榮獲國民政府第一號武功狀和最高榮譽“飛虎旗”，被譽為抗日鐵軍。74軍軍長王耀武和第153旅旅長張靈甫旅表現優異，受到表彰。

1943 年11月常德會戰中，74軍57師余程萬部8000人堅守常德城16天，頑強抗擊了日軍陸、空、坦的協同攻擊，在日軍猛烈炮火甚至釋放毒氣情況下仍死戰不退，日軍不得不圍三闕一，放74軍一條生路，此時全師不足2000人，師長余程萬率180人突圍，其余官兵自愿與常德共存亡，與突入城內的日軍逐屋爭奪，死戰不退。6天后余程萬就隨反擊部隊又殺回常德，收復常德。

戰斗中，日軍第116師團步兵第109聯隊聯隊長布上照一步兵大佐，第109聯隊第3大隊大隊長島村長平步兵中佐、日軍第3師團步兵第6聯隊聯隊長中田護一步兵大佐，均在常德會戰中斃命，日軍共傷亡2萬余人。此役正逢美、中、英開羅首腦會議，羅斯福總統聽取了蔣介石的戰況介紹，特意將余師長的名字記在備忘錄上。著名作家張恨水就根據常德之戰寫出一部名叫《虎賁英雄》的小說。常德人民為紀念74軍為國捐軀的犧牲將士，自發募捐，于1944年3月在市青年路東側修建占地達30000平方米的陣亡將士墓地，作為永遠的紀念。

1945年5月，在雪峰山戰役中，換裝美械的74軍再次顯示出抗日鐵軍的雄風，給予日軍以重創，獲得兩面“飛虎旗”。日軍死傷小笠原七郎中佐、瀧寺保三郎大佐、重光三馬大佐、永里恒彥少佐、田丁由五郎大尉等28000余人。被俘的日軍記載：厲害的重慶軍，沖入陣地后，抓住了我們，上來就是幾個耳光，打得滿眼直冒金花，有時還拳打腳踢，還用槍托打人，打人最厲害的要算74軍的58師;在把我們向后方押送時，在集中上汽車之前每人都被捆綁著雙手并前后各人相連，經過村莊、城鎮時，成群的男女、老幼。以憤怒的行為對待我們，真是狼狽不堪……

八年抗戰中，74軍幾乎參加了所有正面戰場上的重大戰役，尤其是在德安、上高、常德三次戰役中表現最為突出，以其英勇頑強的戰斗意志，被譽為抗日鐵軍，美軍顧問團曾有過“中國只有74軍能打”的贊譽。1945年8月，日本投降，74軍空運南京受降，并擔任南京守備(整編為74師，張靈甫)部隊，因此被稱為“御林軍”。