此前，曹操正在亲征张绣。在高顺、张辽击溃刘备之后，曹操停止攻打张绣，转而东征徐州。吕布亲自固守下邳城，被曹军包围。

建安三年十二月癸酉（199年2月7日），吕布的嫡系将领侯成、宋宪、魏续三人绑缚陈宫向曹操投降，并打开城门使得曹操军队急速冲入下邳城。然后，曹操使吕布彻底破灭于下邳城中。然后，张辽率领自己的军队归降曹操（同一时期，至少有5篇类似的史书记载可以共同论证，张辽的投降时间晚于吕布的下邳破亡。《资治通鉴》记载，在曹操对下邳城内的投降者们以礼相待之后，张辽率军投降）。曹操将张辽拜为中郎将，并赐爵关内侯。而张辽的鲁国国相的职务则由毕谌来接替。

建安五年（200年），官渡之战爆发。袁绍首先派兵袭击白马。曹操依荀攸之计，亲率军队救援白马，张辽与关羽作为前锋，击破颜良军队。在官渡之战的数次战斗中，张辽数有战功，迁裨将军。

同年十月，袁绍主力溃败后，曹操另派曾经领有鲁国的张辽去安定鲁国诸县。这是因为曹操的兖、豫之地在袁绍大举攻曹之时，有非常多的郡县投靠了袁绍。

建安六年（201年），张辽与夏侯渊同围昌豨于东海郡，历经数月，粮秣将尽，众人商议都认为应该引军而还。在“众议还”的氛围中，唯有张辽看出昌豨有动摇之心，于是向夏侯渊说：“这些天以来，每当我巡视围城的军情时，昌豨就两眼盯着我看。而且，他的士兵所发射的箭日益稀少，此种迹象必定是因为昌豨心怀犹豫，所以才没有力战。我希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨投降，岂不是更好吗？”

于是，张辽派遣使者向昌豨传话：“曹公有命令，让张辽来对你传达。”昌豨果然走下来与张辽对话。张辽便说：“曹公神武，正在用他的美德感化四方，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。

曹操先遣昌豨返还东海郡。随后，曹操便责备张辽道：“只身赴敌巢穴，这不是大将所为。”张辽拜谢了曹操的关怀，又根据当时的形势，回答道：“凭着明公威信著于四海，我张辽拿着圣旨，昌豨必然不敢害我。所以我才这么做。”

通过张辽的成功劝降，东海郡在此后保持了长达5年的平静。此时，黄河以北的袁氏势力依然强大。直到5年之后，曹操平定了冀州并打垮了袁氏，统治东海郡的昌豨才再次发起叛乱。

建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。

建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。

建安九年（204年）二月，袁尚再次攻打袁谭，张辽再次跟从曹操攻打邺城。袁尚回军救援邺城，被曹操所破。袁谭趁机夺取了原属袁尚的冀州东部。

建安九年（204年）八月，邺城被攻破后，张辽独领一军向北攻占赵国、常山二郡（“徇”的含义是攻占），曹操亲率主力向东攻打袁谭。张辽招降了那些靠近太行山边缘的诸多贼众及黑山军的孙轻等，此后，张辽跟从曹操攻击袁谭。

建安十年（205年），袁谭败亡后，张辽独领一军攻占沿海数郡的海滨地带，攻破辽东军阀公孙度所置的营州刺史柳毅。又与长广太守何夔合兵平定了矣平的从钱等人。

建安十一年（206年），收复东莱郡诸县后的张辽引军还邺城。曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。

张辽再次独领一军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。

建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。

八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。

在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，于是张辽与张郃、曹纯等人攻击敌军，并临阵斩杀了以骁武著称的乌桓单于蹋顿。（曹操“自以所持麾授辽”。《淮南子·主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。《魏武军令》：“麾前则前，麾后则后，麾左则左，麾右则右。不闻令而擅前后左右者斩”，说明，曹军各部的进攻方向、进攻时机全由张辽决定。）此役，虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，乌桓的军阵当时还没有排列整齐，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十馀万。

白狼山之战是汉人击败胡虏的重要一战，张辽也因此名声卓著。唐朝的昭文馆大学士甚至将张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，将军捕虏。”

建安十三年（208年），当时，荆州尚未安定，人心尚未归附。曹操在那一年，重新组建了许多军队。张辽率领其中一支新组建的军队，屯驻于长社。军队临出发之际，军中忽有谋反者起事骚动，在夜间，惊乱起火，全军尽受其扰。此时，张辽经过审时度势，对左右说：“不可乱动。这一定不会是全营尽反，必然是那些制造叛变之人，想藉此骚动去惑乱众人而已。”于是，张辽传令军中，只要不是谋反者就安坐勿动。而张辽则带领亲兵数十人，守立于阵中。情况逐渐稳定下来，不久，在军中查出并擒获了制造动乱的首领，并将其肃清杀死，彻底挫败了军中夜叛。此事被《通典》评价为：“张辽审计，立擒贼首，亦同料敌之义。”

赤壁之战时，曹操徙赵俨为都督护军，督护于禁、张辽、张郃、朱灵、李典、路招、冯楷七军。

建安十四年（209年），曾经“聚众数万在江、淮间”的江淮豪强陈兰、梅成占据灊县和六县（今本《三国志》此处作“氐六县”，据《资治通鉴》及《考异》所引繁钦《征天山赋》等更正，其中灊于本传下文亦有，六县即六安县）叛乱。曹操于是遣于禁、臧霸等去讨伐梅成，又遣张辽督领张郃、牛盖等去讨伐陈兰。当时，于禁的军队率先到达，梅成诈降于禁。于禁中计，轻率地回军。梅成旋即复叛，带其军众投奔陈兰，二人又率众转入灊县之山中自守，占据了地利。灊县的山有天柱山（在今安徽省潜山市），高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲进入天柱山追剿敌军，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“此所谓一与一，勇者得前耳（只有勇者可以前进）。”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天柱山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军张辽的功劳。”于是增其邑，假节。

建安十八年（213年）正月，从征孙权，攻濡须。后来，曹军攻破孙权江西营，擒获孙权都督公孙阳。因为春水上涨，曹操在慨叹孙权军队的军容齐肃之后，便撤兵。

建安十九年（214年）五月，孙权亲征皖城，张辽从合肥向皖城驰援，在增援途中得知皖城失守。张辽在硖石的南面迅速筑起了一座被称为“南硖戍”的堡垒，作为合肥的前哨。

同年七月，曹操征伐孙权。同年十月，曹操无功而返，自合肥还。曹操在离开合肥时，带走了大批部队欲作西征之用，给屯驻合肥的张辽与乐进、李典等将领只留下了七千余人。张辽得知曹操有西征之意，认为合肥即将孤立无援，孙权必会趁机来攻，于是开凿了藏舟浦，用来隐藏舟船。

建安二十年（215年），曹操率领重兵西征张鲁，让护军薛悌送去一封信函，信函边还写明，要在有敌人来攻时再打开来看。

建安二十年（215年）八月，东吴之主孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守，护军不得与战。”合肥诸将们都感到疑虑。张辽根据曹操远征汉中而合肥缺乏后援的现状，做出了分析，提出在合肥城还没有被孙权大军完成合围之前，率先出击，“折其盛势，以安众心”，然后就可以守住城池。张辽此番分析消除了诸将的疑惑。李典也对张辽所说的话表示赞同。

于是，张辽在当夜募集敢于出城迎战的精锐将士八百人，开剥牛肉赏给将士饱食，准备明日大战。天色刚亮，张辽披甲持戟，亲自先登直陷敌阵，撕裂了东吴军队的防线。在他率军冲入东吴的营垒之前，张辽就已经亲自斩杀了数十名东吴士卒和两名东吴将领。他一边大声呼喊着自己的名号，一边登锋陷阵，冲入东吴的营垒。此后，张辽率军继续猛攻，一直冲杀到孙权的主帅旗之下。孙权见状大惊，东吴众将士也因惊慌失措而不知道该如何应付，于是，孙权等人逃跑到一座较高的山冢上，用长戟来自卫。张辽见敌方主帅退避，便叱喝孙权，挑衅他下来对战。但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢东吴军队将张辽的部队重重包围。张辽的军队分别向左向右驱逐围兵，然后径直向前实施“急击”，将东吴的包围圈打开。在战斗中期，张辽曾经带领着中期破围的几十人突出了重围，没能冲出重围的人们大声呼喊：“将军要舍弃我们吗？”于是，张辽带领着中期破围的几十人，又杀入了重围，去救援的馀众几百人。孙权军队皆望风披靡，没有人再敢抵挡张辽了，也被称为“权众破走”。

这次战斗，双方从凌晨战到中午，吴军士气全失，回军修整守备，合肥守军的军心因为首战大胜而安定了下来，李典、乐进等合肥诸将们都对张辽表示心服口服。

对于这场发生在合肥被围城时的战斗，《三国志》记载“孙权围合肥，张辽、李典击破之”，《魏书》记载“孙权率十万众围合肥，辽募其敢死者八百人，登锋陷阵，大破之”，《魏略》记载“张辽为孙权所围，辽溃围出，复入，权众破走”。

《三国志》的陈武本传、潘璋本传、贺齐本传，三篇本传皆无彻军，皆无津北，所涉人员皆被甘宁本传的“唯”字排除在津北之外，可知，《三国志》贺齐本传与《江表传》贺齐篇发生在合肥战役的不同时间段，发生在合肥境内的不同地点，东吴猛将陈武是战死在这场发生于围城时的战斗中。

而后，孙权率军守在合肥地区十余日，认识到不可能夺取合肥城了，于是退兵。张辽率领诸军乘势追击，几乎再次捉住孙权。同时，张辽又统筹了战局，准确预估了孙权的逃生路线，并分兵绕过东吴军队进行毁桥。而孙权与甘宁蹴马趋津，又有谷利鞭马助势，才得以跃过断桥，死里逃生。张辽因为不知道孙权的相貌而错失了活捉孙权的机会。曹军士兵听说此事都表示叹息悔恨。曹操得知此战，对张辽的表现大加赞许，并拜张辽为征东将军。

当时，曹魏军队的主力远在汉中，而曹魏江淮一带的兵力则非常空虚，无法派遣援兵。正是所谓的：“公远征在外，比救至，彼破我必矣”。因此，曹操非常看重张辽在此战中立下重大功劳，史载“太祖大壮辽”，“大壮”两字在《三国志》里仅用过两次，分别是在《张辽传》、《徐盛传》，可见分量之重。

此役之后，若江东小儿啼哭不止，其父母只要吓唬说：“张辽来了，张辽来了！”孩童就不敢再哭泣了。

建安二十一年（216年），曹操再征孙权。到合肥后，曹操循行视察昔日张辽作战的地方，赞叹良久。于是，给张辽增兵，多留诸军，迁徙去居巢屯驻。

建安二十一年（216年）冬季，曹军抵达居巢，开始进攻濡须。建安二十二年（217年）正月，曹操大军在居巢集结完毕，并在二月全线猛攻濡须，迫使孙权退走。三月，孙权又派遣徐详向曹操请降。曹操回师，留夏侯惇、曹仁、张辽等屯居巢。

建安二十四年（219年），关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽素来知晓曹操的用意，虽然他收到诏令较晚，但向樊城的进军速度却很快。而张辽尚未到达，徐晃就已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。

建安二十五年（220年），曹操去世，曹丕即位魏王，张辽转任为前将军，又分封其兄张汛（或作“张泛”）及一子列侯。同时，赐给张辽的帛多达千匹，谷多达万斛。

不久，孙权再叛变。张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派遣兵马送其家人到他驻军的地方，又派遣向导们预先在各地张贴告示，宣告张辽的家人将要到临，指引着大家出迎。张辽“所督诸军”的将士官吏们都罗列在道路两侧，拜迎张辽的家人。看见此景的人们都认为这是十分荣耀的事。

同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。

黄初二年（221年），张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。（召虎，即召穆公，是与方叔、尹吉甫、南仲等齐名的西周大将。他曾平定淮夷，所以被曹丕借作比喻。）”于是，曹丕下令为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵线、直冲孙权帅旗而临时应募的一众步卒，都被封虎贲。

黄初三年（222年），孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾。众多的虎贲勇士们询问张辽的病情，人来人往，以至于在道路上互相遇见。梁章钜《三国志旁证》中提到：“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖宠之也。”可见曹丕如何重视张辽。

张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。病情稍有好转后，张辽便返回其军中，然后率军与朱灵一同还屯合肥，忠于职守。

正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。此时，虽然张辽受到曹休（曹丕的族兄）的督领，但孙权得知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是难以抵挡的，千万要谨慎！”同年，张辽与王凌等人进军至广陵。一天夜里，吕范等人的东吴水军漂至北岸。张辽与王凌等人出战，大破吴将吕范等人，并缴获了大量舟船。

根据公元3世纪史书的记载，在洞浦战役，曹休、张辽等人的二十馀军击破了吕范等人的五军。反观，吕范等人的五军仅仅是击破了南渡长江的臧霸军。最终，吴军退守长江，魏军引退。但在洞浦会战的500多年后，撰写于公元8世纪的《建康实录》篡改了历史，不但完全抹除了吕范五军的败绩，还将洞浦会战的结局 ，篡改为，曹仁退，东吴诸军乘胜破曹休、张辽等，魏军引退。这与3世纪史书的多处记载，完全冲突、截然不同（例如，《赵俨传》、《贺齐传》都记载了洞浦战役的结局形势是，吴军退守长江，魏军引退）。此外，曹仁退，东吴诸军乘胜破常雕、诸葛虔等，也被《建康实录》篡改至建安十八年（213年）。对于公元3世纪史书所记载的3世纪事件，公元8世纪的《建康实录》这些纂改500年多前的历史事件的行为，是应当受到批判的。

这一年，张辽与诸将破权将吕范。但张辽病情严重，因此逝世于江都，曹丕为之流涕。张辽被追谥曰刚侯。其子张虎嗣任其爵。

黄初六年（225年），曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封张辽、李典的家族各增邑百户，对他们两人各自的一个儿子赐爵为关内侯。”

正始四年（243年），张辽得享从祀于曹操庙庭。

在公元215年的合肥之战，虽然孙权带领十万大军，以及吕蒙、甘宁、陈武、徐盛、宋谦、潘璋、贺齐、凌统、蒋钦等众多的东吴名将一起进攻合肥。但是，张辽率领800人冲阵东吴十万大军，使得孙权以“走登高冢”的方式逃命，张辽突出重围之后，为了救援那些身陷重围的将士们而再次冲进入东吴十万大军。猛将众多的东吴军队都无法挡住张辽，最终，被张辽击破而败走。从此，张辽威震江东。每当江东地区的小孩们啼哭不止，小孩们的父母就会说“张辽来了”来吓唬小孩们。

唐朝李翰所作的《蒙求》收录了“张辽止啼”的典故。该典故也被《太平御览》收录多达3篇（卷二百七十九，即兵部十；卷四百三十四，即人事部七十五；卷四百八十八，即人事部一百二十九）。

而在日本，民间流传着“辽来来（辽来々）”的俗语。该俗语，是缘于唐朝、宋朝的中日文化交流，使得“张辽止啼”的典故传入日本，并在日本民间兴盛了数百年之久。直到1274年的文永之役，该俗语在日本民间的盛行地位才被“蒙古来袭”所取代。

当年，关羽暂时投于曹操营下，张辽与关羽为好友，曹操便派张辽以关羽私交好友的身份去寻问关羽的去留之心。关羽表明只会跟随刘备。因为是曹操要问，所以，张辽不得不回复，并因此感到为难：若说实话，怕曹操杀关羽；若说假话，不是事君之道。张辽沉思良久，叹息道：“曹公，是君父；关羽，是兄弟（君父是对君主的尊称，与臣子相对应）。”最终，张辽在担忧关羽安危的同时，依然坚持履行臣子的责任，而且，张辽还为关羽担保“必立效报公而后去也”。

张辽此举，不但使得他与关羽之间的私人情谊得到了后世文人的千古传颂，而且还被后世认为是臣子们恪守责任、能识大体的榜样，如南朝宋左仆射刘穆之曾说：“我蒙公（指刘裕）恩，义无隐讳，此张辽所以告关羽欲叛也。”尚书右仆射何尚之亦曾言：“臣思张辽之言，关羽虽兄弟，曹公父子，岂得不言？”

张辽与李典、乐进素来不睦，甚至与李典有旧日的仇怨（昔日，张辽所在的吕布集团、李典所在的乘氏李家，双方曾经展开激烈厮杀，血债累累：吕布集团本来已经数次战胜曹操，但因蝗灾大起，吕布集团缺粮，求助于乘氏李家。乘氏李家假装帮忙，以肥牛、酒、胡饼麻痹了吕布集团，却趁机将吕布集团击破。吕布集团溃退之后，同仇敌忾、卷土重来，猛烈地报复了乘氏李家，李典的至亲李乾也被吕布集团所杀），但在合肥城面对东吴大军的侵攻之际，张辽依然能够不计前嫌地邀请李典共同出战。李典也同样展现了顾全大局的风度，愿与张辽一同出战。

张辽曾在吕布集团当中与曹军旧将们惨烈厮杀，因此，他与于禁、乐进等人不和，也是合情合理。

然而，有一次，张辽却与他的护军武周产生了矛盾。于是，张辽来见扬州刺史温恢，希望请胡质来担任他的护军。胡质以生病为借口，推辞了任命。张辽、胡质出屋之后，张辽对胡质说：“我非常地器重你呀，而你为什么要如此辜负我呢？”胡质说：“古人管仲、鲍叔牙相交：管仲在生意分红时取走了很多，鲍叔牙仍然相信他不是贪心的人；管仲在参军打仗时常常逃跑，鲍叔牙仍然相信他不是胆小的人；听闻诋毁管仲的流言，鲍叔牙不会相信那些流言。这样的交情才能长久啊！武周身为雅士，在往常，您对他赞不绝口，如今却因为一些小事就产生了矛盾。何况我胡质才能浅薄，怎么能始终得到您的信任呢？这才是我不愿就职的原因啊。”张辽非常感激胡质所言，于是便改过自新，与武周又恢复了和睦。

根据《三国志》记载，张辽非常善于行伍之间的审时度势——观阵料敌。

建安六年（201年）在东海郡，按照《张辽传》，张辽看到昌豨军阵射矢渐稀而断定昌豨犹豫。后来，果然如张辽所料，昌豨有动摇之心，遂被张辽劝降。

建安十二年（207年）在白狼山，按照《武帝纪》、《张辽传》，张辽看到乌桓军阵尚未整齐而力劝急攻。后来，在张辽的劝战之后，然后才有了曹操的决定、张辽的遂击、白狼山之战的辉煌战果。

建安十三年（208年）在长社，按照《张辽传》，张辽看到夜间的火势而断定谋反者以动乱人。后来，张辽针对谋反者的以动乱人，实施了以静制动，平定了军中的夜间谋反。

建安二十年（215年）在合肥，按照《张辽传》、《潘璋传》，张辽没有在难以观敌的夜色中实施夜袭，而是等到太阳升起，才发起突击。最终，张辽实现了攻敌于“诸将不备”、攻敌于“众不知所为”。

在东吴军队撤离合肥时，按照《甘宁传》，“张辽觇望知之，即将步骑奄至”。张辽先观察敌情，然后才率兵追击。后来，张辽“几复获权”。

张辽的军事表现受历代所尊崇。唐朝建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“魏征东将军晋阳侯张辽”。同时代被列入庙享名单的只有关羽、张飞、周瑜、吕蒙、陆逊、邓艾、陆抗而已。宋朝宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括张辽。在北宋年间成书的《十七史百将传》中，张辽亦位列其中。

另外，唐代李翰所撰《蒙求》中有“张辽止啼”一语。日本俗语中有所谓“辽来来（辽来々）”一语，正是来自张辽止啼的典故。

张辽墓位于安徽省合肥市逍遥津公园内湖中岛上，为衣冠冢，现存墓冢，张辽陈列馆、逍遥阁和渡津桥，园中有张辽持刀立马的青铜塑像。

另外，据《宋高僧传·卷十·唐扬州华林寺灵坦传》载：“元和五年相国李公墉之理广陵也……召居华林寺，寺内有大将军张辽墓。”此段记载则称张辽墓位于广陵（今扬州市广陵区）一带的华林寺内。

三国时繁钦作品《征天山赋》，主要描写张辽征讨陈兰、梅成时的状况。赋题写明：“丞相武平侯曹公东征，临川未济，群舒蠢动，割有灊、六，乃俾上将荡寇将军张辽治兵南岳之阳。”清末民初时期学者古直《曹子建诗笺》指出，陈思王曹植的作品《白马篇》中的主角，是以张辽于207年征讨乌桓时的形象为创作原型的。南北朝时的文学作品中，庾信《哀江南赋》有“张辽临于赤壁，王濬下于巴丘。乍风惊而射火，或箭重而回舟。未辨声于黄盖，已先沈于杜侯。落帆黄鹤之浦，藏船鹦鹉之洲”之句。元代杂剧中，张辽主要有两个身份：一是吕布手下“八健将”之一，二是曹操的亲随军师，更有“百计张辽”之称。托名关汉卿所作的杂剧《关云长千里独行》中，张辽的开场白就已道出其出身：“笔头扫出千条计，腹内包藏七字书。小官姓张名辽，字文远。幼习儒业，颇看韬略之书。先曾在吕布之下为健将，后在于曹丞相手下为参谋。”而在不少杂剧剧目，张辽与许褚分别担任曹操军中重要的文武代表，二人经常作为曹操的心腹爱将而并列。如《刘玄德醉走黄鹤楼》中有“曹操以雄兵百万，虎将千员。左有百计张辽，右有九牛许褚，独霸许，虎视中原”句，《诸葛亮博望烧屯》中则有“则仗着主公前关将张飞，那里怕他曹操下张辽许褚，更共那孙权行鲁肃周瑜”句。《三国志平话》中，张辽仍然担任曹军军师，有“智囊先生”的称号。

在小说《三国演义》中，张辽的历程大概依循正史而为。《三国演义》有两个回目出现张辽的名字，分别是第五十三回《关云长义释黄汉升，孙仲谋大战张文远》，与及第六十七回《曹操平定汉中地，张辽威震逍遥津》。他先为吕布部将，多番令曹军陷于苦战，其武勇连关羽亦甚称道，他曾对张飞说：“此人（张辽）武艺，不在你我之下。”《三国志通俗演义》嘉靖壬午本，则保留了张辽的相貌特征：“面如紫玉，目若朗星，年二十岁，官授骑都尉，雁门马邑人也，姓张，名辽，字文远”。

后来，吕布战败遭擒，张辽亦成为战俘，于白门楼上表现刚烈，骂吕布为“匹夫”，大呼曹操为“国贼”，视死如归。曹操下令绞杀吕布后，刘备、关羽为张辽求情，曹操便待张辽以上宾之礼。张辽感其恩情，于是投降，自此成为曹操将领。第二十五回中，曹操在下邳城外的土山上包围关羽，张辽请缨劝说关羽暂降曹军，以报关羽白门楼相救之恩。关羽降曹期间，张辽一直担任曹操与关羽之间的协调者与斡旋者。后来关羽过五关斩六将，被夏侯惇追赶纠缠，亦赖张辽赶至拆解二人纷争，让关羽可以顺利离开曹营。张辽跟随曹操后，一直随军征讨，不久参与官渡之战以及平河北之战，先后大战张郃，斩蒋奇，大败袁尚、沮鹄。在追击袁熙、袁尚时张辽受曹操任命，秉持军麾，担任首将，率领许褚、于禁、徐晃迎击乌桓军，张辽更亲斩乌桓单于蹋顿，建立诸多战功。

曹操南下追击刘备于长坂时，张飞据桥拒守，曹操一时被其气焰吓退。张辽从后追上曹操，分析张飞只有一人，不足深惧，宜重新追击。赤壁之战时，张辽与许褚一起担任“护卫往来监战使”，当孙权军中的黄盖以诈降计发动火攻时，曹操形势艰险，张辽亲载小舟渡曹操脱难，并射伤黄盖。曹军战败撤退期间，张辽一直护卫著曹操，为其抵敌吕蒙、张飞，最后曹军受关羽堵截，张辽的出现令关羽动故旧之情，放过曹操，曹操才得免于难。赤壁之战后，曹操命张辽为主将，引李典、乐进等守合肥，以御孙权。第五十三回中，孙权亲临合肥战线，与张辽经历多场战争，均未能攻克合肥，其将领太史慈使计派遣吴兵混入魏军城中，打算结连张辽军中的养马后槽一起制造祸乱骚扰魏军，而张辽则冷静悉破策略，号令全军不反者皆静坐，没多久副将李典便抓住了吴兵及后槽，张辽更将计就计引太史慈入城，对其伏击，最后令太史慈伤重身死。第六十七回，孙权乘曹操远在汉中的时机，再次引军进攻合肥，张辽在曹操密令的指示下，灵活调动军队，大败孙权军队。

最后，张辽随曹丕以大船征伐江东，军队被徐盛所击败。曹丕登岸逃亡时，吴将丁奉从岸边杀至，张辽为保护曹丕上前迎敌，却被丁奉以箭射其腰，回营后不治身亡，曹丕厚葬之。及至魏将曹真、司马懿主理对蜀战争之时，以张辽之子张虎及乐进之子乐綝二人为军锋，可惜二人表现平庸。