于是杨素向闽越进军，最终将叛乱平定。杨素回京后，隋文帝任命他为宰相，与高颎共同主持朝政。做了宰相的杨素，对待同事的态度不尽相同。朝臣之中，他推崇高颎，敬重牛弘，厚待薛道衡，蔑视苏威。其余的权贵，大多都会被他欺凌刁难。要论才艺风调，杨素要优于高颎；但若是要比推诚体国，处物平当，宰相气度，杨素比高颎差得多。
593年隋文帝命令杨素监造仁寿宫，杨素为了讨好隋文帝，“夷山堙谷以立宫殿，崇台累榭”，此外为尽快完工，“督役严急，作者多死，宫侧时闻鬼哭之声”，最终一座富丽堂皇，极尽奢华的宫殿呈现在隋文帝的面前。但隋文帝认为太过奢华，非常不满，杨素十分聪明，通过独孤皇后，最终让隋文帝认可了杨素的功绩。
599年隋文帝得到奏报，得知突厥意图内犯，于是决定先发制人，派遣四路大军大军出师，其中杨素为灵州道行军总管，从灵州出发。以前与游牧民族交战的时候，通常采用战车、骑兵和步兵相互交叉配合的阵法，并在阵外四周遍设鹿角、蒺藜等物，骑兵在最里面，以防止对方起兵的冲突。
杨素对众人言道，“此乃自固之道，非取胜之方也。”，于是抛弃这种落后的战法，命人布置骑兵战阵。突厥的达头可汗闻之大喜道：“此天赐我也！”，并下马仰天拜谢，随即率十余万精骑直扑隋军。杨素率军奋击，大破突厥骑兵，达头可汗身受重创，狼狈逃走，手下死伤不可胜数，群虏号哭而去。
杨素用兵随机应变，总能把握战机，但驭军严整，有犯军令者立斩，从不宽恕。每次作战前都会寻找士兵的过失，然后杀之。多者百余人，少则十几人。“流血盈前”，而杨素却谈笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜就罢了，如不胜而败逃者，无论多少，全部处斩。
然后再令二三百人迎敌，如不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜。但杨素对有功之人“微功必录”，所以杨素虽严厉凶狠，但由于他恩威并施，所以将士都愿意随其征战。
600年突厥的步迦可汗率兵进犯隋边，隋文帝命杨素隋晋王杨广出兵抵抗。杨广极为对杨素皆为尊敬，从此两人开始勾结在一起。
601年杨素担任行军元帅，出击突厥。突厥败退，杨素率军追赶，直到夜里才追上。将要交战时，杨素派突厥人再次逃跑，于是心生一计。他亲自带领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行，敌人竟没有发觉。等到敌人停下来时，杨素命令后边的骑兵突然袭击，大获全胜。从此突厥人远遁，“碛南无复虏庭”。
当时杨素贵宠日隆，他的兄弟、族人全都位列公卿，诸子无汗马之劳，位至柱国、刺史。杨素家有上千僮仆、上千的姬妾，府第华丽奢侈，规模体制似皇宫一般。“亲戚故吏，布列清显，素之贵盛，近古未闻。”此后杨素与太子杨广陷害蜀王杨秀。朝臣之中凡是违背冒犯他的，全部遭到贬谪，“朝廷靡然，莫不畏附”。连隋文帝也有些看不过眼，开始剥夺他的权力。
604年隋文帝患病，杨素利用侍疾的机会假传圣旨，帮助杨广登上皇位。不久后汉王杨谅起兵反叛，隋炀帝派遣杨素出兵讨伐。毫无作战经验的杨谅显然无法和老谋深算、久经沙场的杨素对抗，不久杨谅就被杨素擒获。
此后杨素又奉命监造东都洛阳，“前后赏赐，不可胜计。” 606年杨素被封为司徒、楚公，食邑二千五百户，但因功高震主受到了杨广的猜忌。杨素自知名位已极，于是拒绝服药，不想再谨小慎微的活下去了，最终于当年7月23日病死，时年63岁。死后杨素被追封为光禄大夫、太尉公、弘农等十个郡的太守，谥曰景武。
613年杨素的长子杨玄感与李密等“官二代”趁隋炀帝征辽东时，起兵造反。失败后，杨素的儿子们大多都被诛杀，但他有一个女儿成了唐高祖李渊的妃嫔，并生下了李渊的第二十子李元祥。
杨素除了具有超凡的军事才能外，还具有识人之明，一眼就看出当时位卑官低的封德彝、李靖等人终会出人头地，成为宰相，后来两人果然在唐朝时先后出任宰相。此外杨素也是文人，不仅擅长草书、隶书，他的诗文也十分出色，著有文集十卷。但杨素的人品很差，品行不端，许多人曾因为得罪他而死，包括贺若弼、史万岁等人。
杨素是个非常复杂的人物，后人对他的评价也是褒贬不一，有人认为“隋功臣无与比肩者”，也有人认为杨素是隋朝灭亡的根源。隋唐演义中有一位靠山王杨林，我觉得杨素更像是大隋的靠山，平定陈国、削平江南的叛乱，进击北虏、突厥碛南无虏庭，随着他的死，大隋也走向了毁灭。
