祖沖之字文遠，范陽遒人。曾祖父祖臺之，是晉朝的侍中。祖父祖昌，是宋代大匠卿。父親祖朔之，為奉朝請。
沖之愛考查古事，思維機敏。宋孝武帝讓他作華林學宮侍從，賜給房宅車服。起初官作南徐州從事、公府參軍。
當初宋元嘉年間，用何承天所制定的歷法，比古時十一傢都精密。而沖之認為還是粗疏，就又造瞭新歷，並上表奏明。孝武帝讓朝臣中精通歷法的和他論辯，都駁不倒他。恰逢孝武帝死未能施行。
歷任婁縣令，謁者仆射。當初，宋武帝平定關中，繳獲姚興指南車，隻有外形而無內部機關。每當行馳時，得讓人在裡面轉動。升明年間，齊高帝輔政，讓沖之考查研究古時的制造法。沖之改造瞭銅制機械，於是車子隨便轉動，指示方向卻始終如一，自馬均以來還沒有過他這樣的巧匠。當時有北方人索馭駘也自稱能造指南車，齊高帝使他和沖之各造一輛，讓他們在樂遊苑進行比試，結果索馭駘的差得很遠，就把他的給燒瞭。晉朝時杜預有創造才能，曾造欹器，結果改動三次都未成功。齊永明年間，竟陵王蕭子良好古，沖之造瞭欹器獻給他，和周代太廟中的沒有兩樣。文惠太子在東宮，見到沖之的歷法，奏請齊武帝施行。不久太子一死這事又擱下瞭。
沖之調任長水校尉，兼任原職。他寫瞭《安邊論》，想讓朝廷實行屯田，擴展耕地。建武年間，齊明帝想派他去巡行四方，興辦一些對百姓有利的事業，趕上連年戰爭，最終未能成行。
沖之通曉樂律和博戲，是當時一絕，無人能與之匹敵。因為諸葛亮造有木牛流馬，他就造瞭一種器械，不借風力水力，啟動機關就能自己運行，不需人力。又造千裡船，在新亭江試航，日行百餘裡。在樂遊苑造水碓磨，齊武帝曾親自去觀看。又特別長於算術。永元二年(500)去世，年七十二。著有《易老莊義》，註釋《論語》、《孝經》，註《九章》，編撰《綴述》數十篇。