張嵊字四山。他的父親張稷起初去做剡縣令，走到嵊亭，生瞭他，於是就取名叫嵊，字四山。他少年的時候就很有孝行，三十歲時，還穿著彩衣受張稷的杖打，常常多到幾百下，收瞭眼淚仍然是歡喜的樣子。他方正文雅而有志向和操守，能夠清談。感於傢庭的災禍，終身都是吃蔬菜，穿佈衣，手裡不拿刀，不聽音樂。他的弟弟張淮言談氣質不合常規，張嵊就流著眼淚對他進行教訓誘導。
他最初官任秘書郎，逐步升遷為鎮南湘東王長史、尋陽太守。湘東王閑暇的時候談玄，於是為他占卜，得到的是《節卦》，便對張嵊說：“你以後會東入為郡中長官，但恐怕不能終其天年。”張嵊說：“貴在得到適當的地位罷瞭。”當時伏挺在座，說：“君王令人可畏！”
回來後擔任太尉卿、吳興太守。侯景圍困建鄴，他派弟弟張伊率領郡中的兵士前往增援。城被攻陷，禦史中丞沈浚逃難東歸故鄉，張嵊前往見他，對他說：“賊臣侵逼，是人臣效命的時候，現在我打算收集兵器，在貴鄉堅守，即使是萬死，也決無悔恨。”沈浚堅決勸張嵊舉義。當時邵陵王蕭綸東奔到瞭錢塘，聽到消息後，派遣前舍人陸丘公任命張嵊為征東將軍。張嵊說：“天子遇到危難，今天有什麼情緒再接受這光榮稱號？”隻把命令留下而已。
賊軍的行臺劉神茂攻破義興，派遣使者遊說張嵊，張嵊殺死瞭他們的使者，仍然派軍隊進攻劉神茂。侯景派遣他的中軍侯子鑒幫助劉神茂攻張嵊。張嵊的軍隊失敗，他脫去軍服坐在廳堂當中。賊兵到來用刀逼著他，他終不屈服，被抓住送給侯景。侯景將要把他釋放，張嵊說：“趕快殺死是我的幸運。”於是殺死瞭他。子弟遇害的有十多人。侯景想保留他的一個兒子，張嵊說：“我全傢已經寫入瞭鬼的名單，不在你處求恩典。”於是全都死掉。賊平以後，元帝追贈他為侍中、中衛將軍、開府儀同三司，謚號忠貞子。