衛玄字文升，河南洛陽人。
祖父衛悅，西魏司農卿。
父親衛扌剽，侍中、左武衛大將軍。
衛玄小時即有才氣見識，北周武帝為藩王時，召衛玄任記室。
升任給事上士，承襲興勢公的爵位，食邑四千戶。
轉任宣納下大夫。
周武帝總理國政後，授衛玄為益州總管長史，賜給他萬釘寶帶。
稍有升遷，到任開府儀同三司、太府中大夫、兼管內史事，仍兼任京兆尹，有強幹之名。
周宣帝時，衛玄因忤逆聖旨而被免除官職。
隋高祖作北周丞相，衛玄代理熊州刺史。
和州蠻人反叛，衛玄以行軍總管身份打平瞭他們。
高祖受禪後，衛玄升任淮州總管，晉封同軌郡公爵。
後坐罪免職。
不久，拜授嵐州刺史。
碰上大修長城的勞役，有詔讓衛玄監督。
不久代理朔州總管，後任衛尉少卿。
仁壽初年，山獠造反作亂，衛玄出京當資州刺史，以鎮守安撫那裡。
衛玄到任後，當時山獠正在圍攻大牢鎮，衛玄單人獨騎到獠人的兵營，對獠人說：“我是刺史，奉皇上聖旨來安撫你們，不要怕。”諸賊不敢動。
衛玄於是曉以利害，獠人的渠帥受瞭感動，解圍而去。
前後歸順的獠人有十幾萬人。
高祖十分高興，賜衛玄縑纟采二千匹，授他為遂州總管，仍讓他安撫劍南。
煬帝即位，又調他當衛尉卿。
夷人、獠人舍不得他走，都來送行，幾百裡的路上，送者不絕。
衛玄曉諭他們說：“天子下詔書調我回去，我不能久留。”於是與他們告別，夷人、獠人揮淚而去。
過瞭一年多，轉任工部尚書。
其後拜授魏郡太守，仍舊擔任工部尚書。
煬帝對衛玄說：“魏郡是有名的都市，是要沖之地。
那裡的百姓很奸刁，所以麻煩你去治理。
這個郡離首都並不太遠，你應該常回京師，參謀朝政。”賜他縑纟采五百段，而派他去。
不久，拜授右侯衛大將軍，代理左侯衛大將軍之事。
大業八年(612)，轉任刑部尚書。
遼東戰爭中，他代理右禦衛大將軍，率部出增地道。
當時各路人馬大多出師不利，隻有衛玄所部全部回來。
拜授衛玄為金紫光祿大夫。
大業九年(613)，煬帝到遼東，派衛玄與代王楊侑留守京師，拜授衛玄為京兆內史，仍舊擔任刑部尚書，同意衛玄見機行事，又令代王待衛玄為老師。
碰上楊玄感圍逼東都洛陽，衛玄率領步兵、騎兵七萬人馬增援東都。
部隊來到華陰，挖瞭楊素的墳墓，焚燒瞭他的骨頭，把墳地全部鏟平瞭，以顯示必死的決心給士兵看。
出瞭潼關，有人擔心崤山、函谷關之間有埋伏，請從陜縣沿黃河東下，直奔河陽，以進攻叛軍的背後。
衛玄說：“以我看來，這一計謀不是楊玄感那小子所想得出來的。”於是擊鼓前進。
過瞭函谷關，真如所預料的沒有伏兵。
衛玄於是派武賁郎將張峻為疑兵，走南道，衛玄率統大部隊奔向城北。
楊玄感迎戰，衛玄邊戰邊走，駐軍於金谷。
他在軍中掃地以祭高祖說：“刑部尚書、京兆內史臣衛文升，冒昧地昭告於高祖文皇帝的神靈：自從皇傢承受天命，到現在三十多年，武功文德，漸漸影響海外。
楊玄感辜負聖恩，自作蛇豕，蜂飛蟻聚，犯我王師。
臣下我兩代受恩，一心侍奉國傢，統率熊羆之眾，志在剿滅逆黨。
如國運尚在，應讓醜類冰碎；如國運完瞭，則讓我老臣先死。”他語氣抑揚，三軍感動，無不嗚咽。
當時衛玄寡不敵眾，與賊人頻頻作戰，頻頻失利，死傷大半。
楊玄感率全部精兵來進攻，衛玄苦戰，賊人稍稍退卻。
衛玄進而駐軍北芒。
剛好宇文述、來護兒的援兵趕到，楊玄感懼怕，因而向西逃走。
衛玄派通議大夫斛斯萬善、監門直閣龐玉兩人為前鋒，追趕叛軍，趕到閿鄉，與宇文述等合擊破敵。
煬帝回到高陽，調衛玄到行宮去。
煬帝慰勞他說：“你是國傢的大臣，使我無西顧之憂。”於是下詔書說：“近來妖霧充斥，攪動關、河。
文升率領義師，應機赴敵，在華山黃河一帶，奮勇殺敵，打敗兇醜。
應該下令獎賞，授他為右光祿大夫。”賜給他良田、府第、物資巨萬。
他回來鎮守京師長安，煬帝對他說：“關西就全部交給你瞭。
你安全，國傢就安全；你危險，國傢也危險。
出入要有衛兵防衛，坐臥都要關好門。
勇士註重防身，就是這個意思。
現特給你一千兵卒，以補充你的衛隊。”賜給他玉麟符。
大業十一年(615)，有詔讓衛玄安撫關中。
當時反賊蜂起，百姓饑荒，衛玄竟不能救助，而官府腐敗，公開行賄。
衛玄自因年老，上表請求退休。
煬帝派使者、內史舍人封德彝去對他說：“京師長安，是國傢的根本，是王業的根基，宗廟園陵所在的地方。
借你這個老帥，睡在那裡鎮守。
我為國傢考慮，不能同意你退休。
所以派德彝去，口述我的旨意。”衛玄才作罷。
大唐義軍入關，衛玄自知不能守住長安，又憂又怕，自稱有病，不管政事。
長安攻陷後，他回到傢裡。
義寧年中去世，時年七十七歲。