開皇六年(586)閏八月，十八歲的晉王楊廣應召入朝。十月，被任命為雍州牧、內史令。雍州即京兆郡，因而入主國都長安行政，并理朝政近兩年。此間，隋文帝曾“幸晉王第”。開皇八年(588)十月，以晉王楊廣為尚書令。同月部署了八路伐陳的兵力，晉王被任命為隋軍統帥。

既然皇帝不親征，太子作為國本留居京師不宜遠出，次子楊廣、將成年的親王便自然是統帥的當然人選。這次意義重大的統一戰爭，給了他第一次在歷史舞臺上建功立業、嶄露頭角的寶貴機會。平陳一役，隋廷蓄謀已久。隋朝繼承北周時，已與陳國隔江對峙。隋文帝開皇元年(581)二月在任命晉王楊廣為并州總管后，三月即又任命賀若弼為吳州總管，韓擒虎為廬州總管，分別在江北的廣陵(治今江蘇揚州)、廬州(治今安徽合肥)，從東北、西北兩個方向虎視建康(今江蘇南京)的陳政權，準備實現其“并吞江南之志”。開皇八年(588)三月，隋文帝下詔伐陳，斥責陳后主陳叔寶“一入后庭，數旬不出”，“荒于酒色，不恤政事”。十月，楊廣受命任淮南行臺尚書令。他和秦王楊俊、清河公楊素并為行軍元帥，但九十總管、五十一萬八千大軍“皆受晉王節度”。十一月餞行、誓師后，在“東接滄海，西拒巴蜀，旌旗舟楫，橫亙數千里”的長江沿線出擊。楊廣這時向陳尚書令江總發出《遺陳尚書江總檄》。這篇他署名的文件，論述了中國治亂紛爭終歸一統的歷史大勢，交代了“惟廢偽主”，百官歸命可以“身保榮貴”的政策。

這時陳廷君臣深深迷信著長江天塹和金陵王氣，對大軍壓境還滿不在乎。后主同他的文人狎客們依舊“奉伎縱酒，作詩不輟”。平陳前，隋文帝使高問方略于李德林，以授晉王。實際隋軍在長江全線發動攻勢的戰略，是根據崔仲方的建議制定的。戰役首先由楊素和楊俊在中游打響，消滅或牽制住上方的陳軍，使之不能聲援下游陳軍。

接著在開皇九年(589)正月一日，趁陳軍沉浸在元日酒宴之機，隋軍在長江下游發起總攻。賀若弼自廣陵渡江攻占京口(今江蘇鎮江)，韓擒虎自橫江(今安徽和縣東南)渡江襲取采石(在今安徽當涂境)，迅速向建康合圍。

渡江后一周，賀若弼就進據建康東門外的鐘山，韓擒虎也進到西南城郊白鷺洲附近的新林。總攻開始時，楊廣親率大軍屯建康正北方向的六合鎮桃葉山(在今江蘇六合東南瓜埠)。陳廷遣南豫州刺史樊猛與左衛將軍蔣元遜，將青龍艦八十艘巡弋于白下以御六合兵，防守今南京城北金川門下筑有白下城的濱江要地。賀若弼、韓擒虎兩軍渡江時，楊廣也派行軍總管宇文述率三萬兵由桃葉山渡江，奪取了石頭山(在今江蘇江寧西北)。而后遣總管杜彥與韓擒虎合軍，步騎二萬屯于新林。楊廣并將合圍建康城的消息報告皇帝。隋文帝聞訊大喜，宴賜群臣以示慶祝。正月二十日，舉棋不定的陳后主忽然倉促決定出擊，十余萬陳軍在城東排出二十里長蛇陣與隋軍決戰。隋軍大勝，當天占領建康，俘獲了陳叔寶。當時他藏身在景陽井中，開始隋軍怎么喊他也不應，待井上揚言要落石，下面才驚叫起來，軍士放下繩去，往上拽時感到特別沉重，原來陳叔寶將自己與寵妃張麗華、孔貴嬪捆在一起，一道上來了。隋文帝聽到這故事時，驚奇不已。兩天后，晉王入據臺城，將陳后主關押在東宮，斬施文慶、沈客卿、陽慧朗、徐析、史暨慧等“五佞”于石闕下，以謝三吳。

此役隋軍紀律嚴明。賀若弼渡江后，“軍令嚴肅，秋毫不犯，有軍士于民間沽酒者，弼立斬之”。戰后楊廣又立即處置一些將領的違紀行為，首當其沖的，卻是這位名將。

因決戰時，賀若弼不等統一號令，便擅自以本部八千兵出擊，攻陳軍十萬兵的長蛇陣。初戰失利，死二百七十二人，雖后來擊孔范部得手，轉敗為勝，但先期決戰，違軍令，楊廣將他收以屬吏，關押待審。隋文帝驛傳詔令楊廣，非但不加罪，還賜物萬段，褒美賞功。還有一個王頒，是被陳高祖襲殺的王僧辯之子，私自夜發陳高祖陵，焚骨取灰，投水而飲之，報了殺父之仇。事后自縛，向楊廣請罪。楊廣報告了皇帝，心境極好的隋文帝命赦而不問。建康平后，晉王命陳叔寶手書招上江諸將，派降將樊毅持書去找守江夏(治今武漢市武昌)的陳水軍都督周羅，派陳荊州刺史陳慧紀之子陳正業去公安找其父。當時陳慧紀率將士三萬、樓船千余艘，正準備入援建康。楊廣招降此二人的計劃成功，上江皆平。嶺南一時還在高涼郡(治安寧，今廣西陽江西)太夫人洗氏等控制下，晉王又命陳叔寶致書夫人，諭以國亡，使之歸隋。嶺南諸州亦定。于是陳國皆平，共得州三十，郡一百，縣四百。自西晉末以來分裂近三百年的南方，終于又與北方歸為一統。