杜甫常以自己是晉朝名將杜預的第十三代子孫為榮。杜甫的祖先家居京兆(唐長安，今陝西省西安市)的杜陵(因曾厝漢宣帝而得名)，他也曾在“自京赴奉先縣詠懷五百字”裡自謂“杜陵有布衣”或以少陵稱自己，這些足以證明杜甫自豪於自己輝煌的家世。

杜甫的祖父杜審言，字必簡，唐襄陽人，遷河南鞏縣，曾任膳部員外郎，是武則天朝的著名詩人，恃才傲世，詩多五律，當時曾被譽為“文章四友”之一，明人輯有杜審言集。杜甫在其詩“宗武生日”中曾說“詩是吾家事”。足見詩對其的重要性。

杜甫的父親杜閑曾任兗州司馬、奉天縣令。杜甫幼年喪母，由姑母撫養，七歲開始學詩，十五歲便小有詩名。

由杜甫詩“憂集行”回顧其十五歲時天真無憂的生活，活潑調皮的模樣是多麼的快樂。由“壯遊”詩中更可窺見杜甫是早熟的才子，當時被文壇領袖崔高、魏啟心譽為可與大文學家班固、揚雄比美的神童。

杜甫有四個弟弟，名為杜穎、杜觀、杜豐、杜占，其中穎、觀、豐散在各地，只有杜占隨杜甫入蜀。

乾元二年(七五九)九月，史思明從范陽引兵南下，攻陷汴州，西進洛陽山東、河南都處於戰亂之中，杜甫的幾個弟弟正分散在這一帶，由於戰事阻隔，音信不通，引起他強烈的憂慮和思念，寫了“月夜憶舍弟”。

杜甫有個妹妹遠嫁鍾離(今安徽鳳陽縣)，但丈夫早死，留下一群無知幼兒，杜甫思念之，於肅宗乾元二年，自秦州(今甘肅王水市)移居同谷，生活真的是貧苦至極，其詩“乾元中寓居同谷縣作歌”七首，其三與其四即是思念並敘述弟弟和妹妹當時悲痛的心情。

開元二十九年，他在洛陽、偃師之間的首陽山下定居，大約在這裡與楊氏夫人結婚。