在《三国演义》里，当刘备带着关羽和袁术手下大将纪灵在盱眙大战时，张飞奉命留守徐州。结果张飞醉酒鞭打了原来徐州刺史陶谦的部将曹豹。曹豹一怒之下写信给寄居小沛的吕布，让他来袭取徐州。
吕布是个野心勃勃之人，收到信以后自然是大喜过望，立刻带兵夜袭徐州。曹豹早就安排了人手等在城门，吕布军马一到就大开城门，吕布趁势杀入。张飞猝不及防，只能弃城而走。
因为《三国演义》流传较广，很多人就认为是张飞醉酒鞭打曹豹，将他逼反才丢了徐州。还有人认为也正是因为如此，后来刘备才不让张飞驻守汉中，怕他喝酒误事。不过这个说法并不准确。
首先在《三国志》中虽然也提到是刘备和袁术交战期间，吕布趁虚乘虚袭击下邳。下邳守将曹豹反叛，开城引入吕布大军，下邳失守。这里根本没有提到是张飞醉酒鞭打曹豹，才将曹豹逼反一事。
袁术来攻先主，先主拒之於盱眙、淮阴。先主与术相持经月，吕布乘虚袭下邳。下邳守将曹豹反，间迎布。
而且在刘备夺取益州以后，曹操攻占了汉中。刘备就命张飞镇守紧邻汉中的巴西，驻守对抗曹军的第一线。显然刘备也没认为张飞会喝酒误事，因此不让他驻守前线。而张飞也没让他失望，在巴西击败了曹魏名将张郃，稳定了益州局势。
其次，在《英雄记》里倒是提到过张飞和下邳相曹豹发生矛盾，张飞要杀死对方，结果曹豹手下中郎将丹杨人许耽派司马章诳去请吕布来袭取下邳，并集结丹阳兵千人守住西门，迎接吕布大军从西门入城，下邳因此失守。
这里并没有说到张飞和曹豹发生矛盾的原因。不过结合资料看，显然不是张飞醉酒这么简单。
徐州本来是陶谦的地盘，而刘备和陶谦原本也没什么交集。曹操为父报仇攻打徐州，陶谦和公孙瓒交好，因此向公孙瓒任命的青州刺史田楷求援，田楷带着刘备前来帮忙，刘备才和陶谦认识。
陶谦对刘备颇为赏识，曹操退兵以后邀请刘备留驻小沛，并在自己死后把徐州托付给他。
问题是刘备实力太弱，他来徐州时只有千余人马。后来陶谦又给他四千丹阳兵，才勉强在小沛立足。此后即使在小沛又扩充了一些实力，出任徐州刺史以后又得到了陈登、糜竺等人的支持，但是也不足以掌控徐州这么大的地方。
像陶谦任命的骑都尉臧霸、琅琊国相萧建就不怎么服刘备，割据琅琊。还有昌豨盘踞东海，也不听刘备的话。
虽然曹豹和刘备的关系如何在史书上没有提到，但是在袁术大军来犯的情况下，刘备却把自己手下最强的大将之一的张飞留在下邳，显然对曹豹并不是那么放心，两人关系不是那么融洽。
所以张飞和曹豹发生矛盾，根本原因是刘备的实力有限，不足以慑服原来陶谦的部属，只得到了部分人的承认。在这种情况下，随着袁术进犯，吕布又在一旁虎视眈眈，内部反对势力趁机抬头是很正常的事。所以张飞才会和曹豹发生矛盾。
甚至很有可能就因为是曹豹要勾结吕布，张飞才不得不痛下杀手，将他杀死。只是曹豹手下据守西门，而吕布来得又太快，张飞才无力应对，只能弃城而走。
因此换成任何人来驻守徐州，一样都难以保证徐州不失。而且此时刘备手下人才本来就不多，自然不会责怪张飞，让手下寒心。
