與此同時，曹操又致密信給袁術，稱劉備上奏天子誣陷其有稱帝之心，意欲發兵攻襲。曹操只等作壁上觀。劉備接到討賊詔書，決定發兵北進，相機行事。離開徐州之前，再三叮囑守城的張飛要謹慎行事。袁術聽取許攸的建議，賄賂呂布讓其同時攻擊劉備。劉備走后，張飛要與守城將士在禁酒前大醉一場，席間醉打了呂布的表弟，偏將不堪其辱，密通呂布輕取了徐州，張飛敗逃淮南。三兄弟又無處容身，劉備決定重返徐州，乞回妻小。呂布開門迎接，假意奉還徐州，劉備堅決推辭。劉備帶著妻小部下，無限感慨地重歸小沛。袁術企圖分化劉備、呂布，以二十萬糧餉作為攻打劉備時呂布不出兵的代價。呂布收下糧餉，表示保持中立。袁術放心地派遣大將軍紀靈攻打小沛，情況危急之下，劉備請求呂布發兵相救。