張耳與陳餘見瞭面，他責備陳餘的見死不救，並且詢問張黶、陳澤的下落。陳餘耐不住脾氣，發怒說：“張黶、陳澤要求我率軍與你們一同與秦軍決死。我先是派遣他們帶領五千人馬去試探秦軍的實力，結果全軍覆沒，他們沒能脫身。”張耳不相信他的話，以為陳餘將他們殺掉瞭，便再次追問陳餘，陳餘大怒，說道：“沒想到，因為這件事，您對我的怨恨竟然有這麼深！難道您認為我是貪戀將軍的職務嗎？我是那種當瞭官就變瞭心的人嗎？”陳餘一氣之下，解下瞭身上的印綬，將其推給張耳。張耳愕然，沒有接受。
過瞭一會兒，陳餘起身上廁所。賓客中有人勸告張耳說：“我聽說‘不接受上天的賜予的人，反而會遭受上天的懲罰’。現在，陳將軍把印綬交給您，您如果不接受，那就是違背瞭天意，這不吉祥。您應當趕快收下它！”其實也是借口，就像你打開傢門，忽然發現一捆錢，你是聲張呢，還是趕緊拾起來呢？突發事件，就要考驗你的意志瞭。於是，張耳佩戴上瞭陳餘的印信，接收瞭他的部下。陳餘方便回來，目瞪口呆，心想我隻不過是一時之氣，張耳這個老匹夫竟真的厚著臉皮收下瞭，罷瞭，你我的情誼就此瞭結瞭，就快步退瞭出去。結果，張耳收編瞭陳餘的軍隊。陳餘與幾百名親信逃到瞭黃河沿岸的湖澤中，在那裡捕魚、打獵，等待著東山再起的時機。從此，張耳與陳餘這兩個曾經為生死之交的朋友就反目成仇瞭。
相互殘殺
此時，趙王歇仍舊住在信都（今河北省冀縣）。後來，張耳跟隨項羽和各路諸侯一起進入瞭關中。漢元年二月，項羽分封諸侯王。張耳向來交遊甚廣，所以有很多人都為他說好話，而項羽也曾經多次的聽說張耳的賢能，因此，便從趙地分出一部分土地，封張耳為常山王。張耳建都信都，將其改名為襄國。陳餘的賓客中有不少人勸項羽說：“陳餘與張耳一樣，對趙國有莫大的功勞。”但是，項羽認為陳餘沒有跟隨他進入關中，沒有什麼功勞，又聽說他在南皮，於是，便把南皮附近的三個縣封給他，而把趙王歇改封為代王，將其趕到瞭代地。
張耳高興地回到瞭自己的封國。陳餘聽說瞭項羽分封的結果，惱怒地說：“張耳和我的功勞一樣。現在，張耳被封為王，而我隻是被封為侯，這是項羽的處事不公。”不久，齊王田榮率先挑戰項羽的權威，舉兵反叛。於是，陳餘派夏說去遊說田榮說：“項羽現在奪得瞭天下，就忘記瞭天下不隻是他自己奪下來的。他為人處世太不公平。他把跟隨他的諸位將領都封在瞭土地肥美的地方，而把那裡原來的君王改封到土地貧瘠、人煙稀少的地方，趙王歇竟然被改封到代郡去瞭！希望大王能借給我部分的兵力，我會以南皮地區作為您的保障。”田榮也想在趙地樹立黨羽，來反擊楚國，就答應瞭陳餘的請求。於是，陳餘全面動員所轄地區的兵源，加上齊王派來的援兵，突然襲擊瞭常山王張耳，張耳敗逃。張耳面對巨大的危機，窘迫萬分，認為眾多的諸侯王之中沒有什麼人值得他去歸附，便對手下人說道：“漢王劉邦雖然與我有老交情，但是，項羽的勢力極大，是他立我為王的，我打算去投奔項羽。”甘公說：“漢王進入關中的時候，五星聚集在東井天區，而東井天區對應的封地為秦地，所以，率先到達秦地的必定會成就霸業。楚國即使目前十分強盛，最後也必定會歸屬於漢。”因此，張耳決定投奔劉邦。此時，劉邦正回師，平定三秦，在廢丘圍攻章邯。張耳到那裡拜見瞭劉邦，劉邦是不會虧待老朋友的，不但以隆重的禮儀接待瞭張耳，還把魯元公主嫁給瞭張耳的兒子。
陳餘打敗張耳以後，收復瞭全部的趙地，然後，專程把趙王歇從代地迎接回來，仍然擁立他為趙王。趙王十分感激陳餘的恩德，便把他立為代王。陳餘認為趙王勢力微弱，國傢又剛剛穩定，所以，並沒有前往封國，而是留下來輔佐趙王，派夏說以相國的身份去鎮守代國。