1367年十月二十一日，吴王朱元璋正式任命徐达为征虏大将军、常遇春为副将军率师二十五万北取中原。北伐大军的第一个目标直指驻守山东的元兵。就在徐达等出师后的第二天，吴王朱元璋向中原地区齐鲁、河洛、燕蓟、秦晋一带的人民发布了北伐檄文，宣布他派兵北伐的目的在于“逐胡虏，除暴乱，使民皆得其所，雪中国之耻”。这篇檄文的发布，对徐达所率北征将士获取中原地区士民更广泛的理解和支持，减少其进军的阻力，发挥了一定的积极作用。
（一）平息沂州之乱
吴元年十月二十四日，大将军徐达率军到达淮安，遂派使者持信前往山东沂州（今山东临沂市），招降在山东颇具影响的王宣及其子王信所领导的元朝地方武装。王信收到徐达的招降书后，于二十八日遣使前来请降。但王信父子并不是真心投降，他们表面上服从徐达调遣并派官员到徐达军中犒劳将士，私下里却秘密到莒县、密州募兵，为抵御徐达做准备。十一月初十，王宣在所派犒军官员回到沂州后，立即派兵乘夜袭击徐达派驻沂州的将士徐唐臣等，徐唐臣乘乱逃回徐达军营。徐达在得知王宣降而复叛的消息后，当即率军直抵沂州城，扎营于北门外。起初，徐达仍想招降王宣，又派人前去劝说。王宣为了拖延时间，等待外出招募兵马的儿子王信带兵来援，仍故技重演，答应投降，却仍是闭门拒战。徐达大怒，指挥部队猛攻沂州城，由于王信募兵未归，王宣自知抵挡不住徐达的进攻，被迫在十二日向徐达投降，并交出了元朝廷授予的沂国公印等。随后，徐达命令王宣修书一封，派部将前去招降其子王信。但王信拒不从命，并杀害了徐达派去的使者，与其兄王仁逃往山西。徐达因愤恨王宣的阴险狡诈、反复无常，且恼怒王宣之子杀害了其部将，于是下令处死了王宣。
（二）智取山东
徐达平息沂州之乱后不久，受其影响，元山东莒州、沂水、日照等地守将纷纷来降，并遵照吴王朱元璋的谕令命部将韩政扼守黄河要冲，以断山东援兵。徐达亲统大军向益都（今山东益都市）方向推进。益都守将拒绝招降，徐达对部下说：“益都倚仗的是河上的援兵，现在我已派兵扼守黄河，断绝了后路，他们还不知道自己已经成了瓮中之鳖了。”于是下令填坝攻城。十一月二十九日，徐达攻陷益都，活捉了元益都守将。紧接着，徐达又乘胜出兵，连克寿光、临淄、昌乐、高苑等县及潍、胶、博兴等州。此役，共计俘获元军将士一万零五百余人，马骡一千六百余匹，粮十八万九千余石。十二月初六，大将军徐达兵至章丘，元守将右丞王成投降。次日，抵达济南，留守的元将举城投降，收复济南，俘虏元军二千八百五十五人，马四百二十九匹。随后徐达率兵进攻山东半岛，元军驻守莱阳、登州、宁海（今山东烟台市牟平区）的守将纷纷请降。在北伐军的节节胜利声中，朱元璋于1368年正月在应天登基称帝，建国号为大明，建元洪武。徐达被封为中书右丞相、兼太子少傅。
洪武元年二月初四，元滨州守将来到济南，投降徐达。次日，徐达派遣副将军常遇春率兵自济南攻取东昌（今山东聊城市），十二日，东昌被攻克，元守将自杀身亡，其所属各县全部投降。至此，山东全境基本平定。
自吴元年十一月至洪武元年三月，徐达所领导的北伐大军经过约四个月的鏖战，不仅基本上统一了山东，达到了明太祖朱元璋撤除元朝大都屏障的要求，而且俘虏和收编了大量元朝官兵，缴获了大量物资。徐达在征战过程中，不仅能够充分利用手中的职权，妥善处理有关战争善后等问题，而且徐达行军过程中，军纪严明，对沿途百姓秋毫无犯，并从新收编的元军将士中挑选精壮者从军，在补充和扩大北伐队伍的同时，也解除了后患。徐达的表现，充分展示了他的大将之才，也令坐镇京师的明太祖大感宽慰，并对其愈加信任。
（三）挥师汴洛
洪武元年三月，徐达统率北伐大军自山东郓城出发，经水路逆黄河而上，进取河南汴梁（今河南开封市）。当月二十九日，徐达兵至汴梁陈桥。元汴梁守将李克彝闻讯十分震惊，立即将避难到此，并多次与徐达交锋的左君弼召来商量对策。李克彝说：“将军与南朝数次交战，熟悉他们的阵法。今天我将兵权授予将军，作为前锋抵挡徐达，怎么样？”左君弼一方面因为感激明太祖将被俘虏的年迈母亲送回，心中早有降意；另一方面他经过与徐达几番交锋后，不仅对徐达心存畏怯，而且在失败中发现徐达确实精于用兵之道，所以他回答李克彝道：“南朝军锋势不可当，我一看到他们的阵势就胆怯，所以才投奔到此地。而且南朝徐相国很善于用兵，一直所向无敌，我实不敢受命。”于是，李克彝被迫连夜逃往洛阳，左君弼等率部出城投降，徐达领兵入驻汴梁城。
洪武元年四月初四，徐达命都督佥事陈德驻守汴梁，自己亲自统率步兵和骑兵直捣元河南行省省府所在地洛阳。四月初八，徐达率大军通过虎牢关，还未抵洛阳城，即遭到元将脱因帖木儿领兵五万，在洛水以北十五公里的地方列阵迎战。徐达布阵完毕后，副将军常遇春单骑突入敌阵，遭到敌人二十名骑兵持槊围攻。常遇春沉着应战，一箭射杀其前锋，敌军为之丧胆。徐达见状后，指挥大军趁势出击。正在这时，忽然南风骤起，战场上尘土飞扬，呼喊厮杀声惊天动地，迎风而战的元军阵脚大乱，仓皇败逃。徐达率兵一路追杀，俘获战俘物资无数。脱因帖木儿逃往陕州。徐达旋即率兵进逼洛阳城，在北门外安营扎寨。由汴梁逃到洛阳的元将李克彝逃往陕西。元河南行省平章、梁王阿鲁温势孤力单，被迫率领洛阳军民出降，洛阳宣告平定。
在徐达的北伐大军连克汴梁、洛阳两大城池后，河南元军已显出土崩瓦解之势。但是大将军徐达并没有因此滥用武力，反而采取了极大的克制态度。他派人招降河南各地的元军残部，尽可能避免使用武力，力求将战争给人民造成的损失降到最低点。在徐达的招抚政策下，元嵩县、荥阳、登封、巩县（今河南巩义市）、钧州（今河南禹州市）、汝州等地守臣皆来归附，而徐达也乘机派兵攻占了中原和西北地区之间的军事要塞 潼关。
（四）攻克元都
徐达顺利攻占汴梁和洛阳并扼守潼关要塞的消息传到应天后，明太祖朱元璋决定亲自北上，与大将军徐达等会合，共同商议推翻元朝，占领元大都的部署。
洪武元年五月二十一日，明太祖御驾来到汴梁，并诏令改汴梁路为开封府。六月初一，军务繁忙的大将军徐达从洛阳赶赴开封，谒见明太祖。明太祖在对徐达一番称颂和慰劳之后，转入正题，对徐达说：“朕闻河朔之民，日夕望吾师至，将军宜与诸将乘时进取而安缉之。朕观天道人事，元都可不战而克。大丈夫建功立业，各有其时。揆时之会，不失时机，在将军等勉之。”明太祖的话正是勉励徐达等抓住时机，率兵北进，推翻元朝统治，为国建功，为己立业。而徐达也早在心中谋划过此事，因此，君臣二人不谋而合。于是，两人开始仔细商讨北取元都的具体计划。明太祖朱元璋虽然认为徐达提出的从河南直取元都的建议不无可行性，但他还是坚持让徐达按照自己拟定好的渡过黄河经冀南转而东向，然后由齐鲁北上进攻元都的想法进军。
洪武元年闰七月初二，大将军徐达从开封启程，统率大军北渡黄河，进取豫北州县。沿途元朝守将大多弃城而逃，卫辉（今河南卫辉市）、彰德（今河南安阳市）等地划归明朝版图。初七，徐达继续统兵北上，进占河北磁州（今河北磁县）。次日，师至邯郸，元守将出逃，县尹率百姓出降。十一日，徐达遵照明太祖的指令，率军东向，进入山东临清，并调派驻扎东昌（今山东聊城）的张兴祖前来会师，共同北上。二十三日，在连克长芦（今河北沧州市）、清州（今河北青县）后，徐达兵至直沽（今天津市），缴获元军七艘海船，并联结成浮桥，使北伐大军顺利渡过海河。经过几天的激烈交战，元大都外围兵力已被清除，徐达率兵进驻通州城（今北京通州区），兵锋直指元大都。元顺帝得报后，大为恐慌，当晚带领其后妃、太子等悄悄溜出京城，逃往上都（今内蒙古多伦市西北）。八月初二，徐达亲率大军轻取大都，俘获元高官数十人，查封元朝府库及各种图籍宝物等，并严明军纪，贴出安民告示，使得大都城内秩序井然，百姓交口称赞，拍手称快。至此，入主中原半个多世纪，由蒙古族建立起来的元朝政权正式宣告灭亡。八月十三日，徐达攻克元大都。推翻元朝政权的捷报传到应天，群臣庆贺，明太祖诏令改大都为北平。至此，历时近一年的北伐战争胜利结束。