就在杨业赴太原上任不久，折德一家就归附了后周。折德归附后周是因为父亲折从阮在后汉时移镇邓州（今河南邓县），郭威建后周，加折从阮同平章事（宰相地位）。周世宗即位，又把折从阮召到朝中。后周如此厚待折从阮，当时任府州团练使的折德，自然要归附后周了。杨信初时因儿子杨业在刘崇身边，也就依附北汉，当折氏父子归附后周以后，他就处在孤立的地位，不得不归附了后周。从此，杨家父子分属两国。杨信归附后周的第二年，即后周广顺二年（），病死麟州。长子杨业在北汉，次子杨崇训承袭了麟州刺史的职位。兄弟两人仍然分属两国。杨业的父亲、弟弟归后周以后，刘崇不但没有杀掉杨业，反而赐以刘姓，想通过杨业来争取杨信、杨崇训重新归附北汉。刘崇的做法的确没有落空，杨崇训因哥哥在北汉而几次背周归汉。但由于北汉的国力日衰，杨崇训处在麟州，悬隔黄河，得不到北汉的援助，在周世宗柴荣的招抚下，最后只得又归附了后周。

北汉的皇帝刘崇，原是后汉开国皇帝刘知远的弟弟，后周夺了他家的皇位，他自然十分仇恨。刘崇一反过去抗辽的态度，转而投靠契丹，攻打后周。杨业是在抗辽斗争中长大的，对北汉向契丹纳贡称臣，当然很不满意，不过他作为臣下也无可奈何。由于北汉同契丹之间仍然存在着复杂的矛盾，契丹统治者不但逼北汉纳贡，而且还不时过境劫掠。北汉最高统治者虽然委曲求全，但在契丹进扰时，也不得不派人还击。到刘钧统治的时候，北汉同契丹的关系十分紧张，双方长期绝交，处于战争状态。杨业在北汉屡建战功，不断升迁，这时已任代州（今山西代县）的建雄军节度使。代州是北汉与契丹相接的北部边境。杨业常驻代州，在那儿修筑许多堡寨防御契丹。在双方交战的时候，杨业就是前线的总指挥。后周和北汉之间，后来的北宋和北汉之间，先后爆发了几十次战争，从史书的记载看，杨业在宋太祖开宝年间（～），才在战场上出现。大约在这之前，他主要承担防御契丹的重任。《宋史》上说杨业在北汉“屡立战功，所向克捷，国人号为‘无敌’”。这里所说的“屡立战功”、“所向克捷”，主要应是指对契丹的战斗。“国人号为‘无敌’”，也主要指北汉人民表彰他防御契丹的骁勇和功绩。

赵匡胤于建隆元年（）夺了后周的皇位，建立宋朝。在北宋消灭各个割据政权统一南北的过程中，遇到的强劲对手，除契丹外，就要算北汉了。天会十二年（），北汉皇帝刘钧死，最高统治集团爆发了争夺皇位的斗争。赵匡胤决定乘机发兵，灭掉北汉。杨业参加了这次抵抗宋军的战争，他被任命为侍卫亲军都虞侯，就是兼统北汉的中央部队。杨业和将领冯进珂领兵扼守太原城南的团柏谷。宋军的先锋何继筠夺下汾河桥，直逼太原城下。杨业打败宋军，迫使宋军退走。第二年初，宋太祖亲征北汉。杨业和将领冯进珂仍驻屯团柏谷。由于北汉牙将陈廷山投降宋军，杨、冯二将苦战失利，损伤千余人，退入太原城。北汉主刘继元解除了杨业的兵权。三月，赵匡胤亲至太原城东南，在太原城外布下四个军寨。杨业率骑兵几百人从城内冲出，直攻宋军东寨。东寨主帅挺身抵挡，北汉兵出援，杨业最后拽着城墙上垂下来的绳子，才进入城中。五月，宋军在围攻太原的同时，引汾水灌城，太原危急。北汉主命令杨业与司空郭无为等，领兵千余人乘夜出袭宋军。这天夜里正好下雨，汉军迷路，杨业马足受伤，只好中途返回城里。宋军久攻太原不下，其时值暑天多雨，将士腹泻的很多，恰好辽的援军到来，赵匡胤只好下令班师。杨业和诸将乘势追击，获粮三十余万斛，茶绢以万计。这些东西对衰败的北汉政权，是一个不小的收获。宋军退去以后，辽军还在太原城下。一贯抗辽的杨业，劝北汉主刘继元说：“契丹贪利不讲信用，将来必然会攻破北汉。这次来的援兵盛气凌人，但对我没有防备，我愿去袭击他们，不仅可以缴获几万匹马，还可以把辽占领的河东之地要回来，使百姓免遭契丹的骚扰，您也可以从此长享富贵。”但北汉主没有听从他的劝告，反而在辽军北还时，送给一份厚礼。广运三年（）初，北汉主令杨业攻晋州（今山西临汾），杨业被宋军将领武守琦打败。这一年，赵匡胤已基本上统一南方，又决定进攻北汉。他派出五路大军围攻太原，又派兵分攻北汉其余各州。宋军在这次战争中，各路都取得战果，北汉的太原也即将攻下。辽又派兵出援北汉，恰好这时赵匡胤突然死去，宋军只得撤兵。

杨业在抗宋的战争中，从史书记载上看，大都打了败仗。宋军并不骁勇，只是数量上远远超过北汉的军队。杨业同契丹作战，多是“所向克捷”，惟独与宋军对仗处于失败地位。这是由于史书作者的正统观念很强，写进史书的大都是有利于宋朝的事，但同时也说明杨业抗宋的斗志远不如抗辽那么足。

宋太祖死后，他的弟弟赵匡义即位，就是宋太宗。赵匡义即位后，到太平兴国四年（），南方诸国都已削平，攻打北汉就成为完成统一的首要任务。这年二月，赵匡义集中兵力亲自伐汉。为了防止辽出兵救援北汉，赵匡义以一部分兵力先攻占太原以北的忻州（今山西忻县）石关岭一带。当契丹的几万援兵到了忻州，就被宋军击败。三月底宋军包围了太原。至五月初，太原附属的小城羊马，被宋军占领。北汉的统兵将领都指挥使郭万超逾城投降，北汉军心瓦解。杨业对这次战争的形势是看得很清楚的。宋朝集中军事主力来对付北汉，而当时的北汉只剩下十来个州的土地和三万五千多户居民，同宋朝的实力相差太大。所以，在宋军围攻太原时，杨业从北汉主的出路和河东百姓的利益出发，劝刘继元降宋。刘继元拒不接受投降。后来，北汉都指挥使投降宋军，刘继元的亲信大臣也都纷纷逃散，城中危急，刘继元走投无路，只好派人奉表出降，北汉至此灭亡。赵匡义早已听说杨业骁勇无敌，曾派人收买他，杨业不从。北汉主投降以后，赵匡义召见杨业，杨业在北汉二十九年，很受北汉王的重用，他为感激知遇之恩，向北叩拜，大哭一场，算是告别北汉，然后解甲来见赵匡义。赵匡义大喜，赏给他许多东西，让他恢复原来的姓氏，单名一个业字，在自己的身边担任散职，做右领军卫大将军。杨业降宋，立即受到封赏，这不仅是由于宋太宗赏识他，更重要的是因为他曾劝说北汉主降宋，宋太宗授予杨业官职时的诏令，即表彰他“定策乞降”，为宋朝立下了大功。一些史书记载，杨业在降宋之前，仍然据城苦战。那是因为，杨业虽然向北汉主提出了降宋的建议，但在这个主张实现以前，他认为必须继续忠于职守，这同他的建议并不矛盾。杨业从抗宋到降宋，表明他不仅骁勇善战，而且也是一个很有见识的将领。

北宋灭北汉时，击败了辽大将耶律沙的几万援军，斩杀了五员敌将和上万士卒，这就使宋太宗增长了伐辽的勇气。不过，宋军将士出征日久，加之在北汉掳掠许多财物，所以，人人思归，不想伐辽。太平兴国四年（）六地位高的就称“驻泊兵马都部署”，杨业以“三交驻泊兵马都部署”兼代州知州，具体地说，就是统辖并州路的禁军和代州的地方军，同时兼管代州民政。代州的重要性在于雁门关。代州北边四十里就是重峦迭嶂的雁门山。雁门山的断崖峭壁间，有条崎岖曲折的路，号称天险，它就是著名的雁门关。自古以来这儿都是兵家必争之地。出了雁门关就是辽国。代州称得上是宋朝的边防重地。宋太宗委任杨业担任这个职务，可以说是对他的很大信任。志在疆场的老将杨业，也很乐于担当起防守宋王朝北界的任务。杨业从宋朝中央领导的禁军，加上代州一州的厢军，不过几千人，而契丹从代州南下的军队，常有上万人，甚至十万人。杨业不畏艰难，在当地人民支持下，以杰出的军事才能和丰富的作战经验，经常打败入犯的辽军。他虽然不知书，但作战勇敢，又有智谋，平时注意将士的攻战训练，能与士卒同甘苦。代北冬天寒冷，当地人大多穿着皮衣，杨业只穿絮有棉絮的衣服。他的衙门也不生火，侍从都冻僵得倒了，他却丝毫不感到寒冷。他从政简易，关心属下，所以士卒都愿为他出力。

杨业赴任不到三个月，在太平兴国五年（）三月，辽景宗就亲率十万大军进犯雁门关。杨业命部将董思愿守住雁门关峡谷南口，自己亲率数百骑从西陉（雁门关峡谷西支），绕道至雁门关峡谷北口，猛攻辽军，杀了辽朝的驸马侍中萧咄李，活捉马步军都指挥使李重海，缴获无数马匹盔甲武器。杨业因功升为云州观察使，仍为代州刺史，并兼郑州防御使。从此，辽军望见杨业的旌旗，就自动退去。

太平兴国七年（）四月，契丹分三路伐宋，中路三万人攻雁门。杨业在雁门关大败辽军，斩辽军将士三千，乘胜追逐到朔州（今山西朔县）、寰州（今山西朔县东北马邑镇）和应州（今山西应县）等地，攻破辽军营垒三十六座，俘获辽军一万多人，得到牛马羊五万多头。

在杨业驻守代州的七八年里，辽军从未攻入过雁门关，河东百姓过上了安宁的生活。为此，河东人民世代传诵他英勇战斗的事迹。