《三國演義》有兩個回目出現張遼的名字，分別是第五十三回《關云長義釋黃漢升，孫仲謀大戰(zhàn)張文遠》，與及第六十七回《曹操平定漢中地，張遼威震逍遙津》。第五十三回中，孫權親臨合肥戰(zhàn)線，與張遼經歷多場戰(zhàn)爭，均未能攻克合肥。

其將領太史慈使計派遣吳兵混入魏軍城中，打算結連張遼軍中的養(yǎng)馬后槽一起制造禍亂騷擾魏軍，而張遼則冷靜悉破策略，號令全軍不反者皆靜坐，沒多久副將李典便抓住了吳兵及后槽，張遼更將計就計引太史慈入城，對其伏擊，最后令太史慈傷重身死。第六十七回，孫權乘曹操遠在漢中的時機，再次引軍進攻合肥，張遼在曹操密令的指示下，靈活調動軍隊，大敗孫權軍隊。

最后，張遼隨曹丕以大船征伐江東，軍隊被徐盛所擊敗。曹丕登岸逃亡時，吳將丁奉從岸邊殺至，張遼為保護曹丕上前迎敵，卻被丁奉以箭射其腰，回營后不治身亡，曹丕厚葬之。及至魏將曹真、司馬懿主理對蜀戰(zhàn)爭之時，以張遼之子張虎及樂進之子樂綝二人為軍鋒，可惜二人表現平庸。