Diana a brit arisztokráciába beleszületett, Edward John Spencer legfiatalabb lányaként. Park House-ban született, Sandringhamban (Norfolk, Anglia). Percy Herbert a Szent Mária Magdolna templomban keresztelte meg ugyanott, keresztszülei között ott volt John Floyd is (a Christie's elnöke). Dianának négy testvére volt:

• Sarah Spencer (született 1955. március 19.)
• Jane Spencer (született 1957. február 11.
• John Spencer (született és meghalt 1960. január 12.)
• Charles Spencer (született 1964. május 20.)

Miközben szülei házasságtörés miatt váltak, Diána édesanyja két legkisebb gyermekével egy londoni lakásba költözött Knightsbridge-ben, ahol Diana a helyi iskolába járt. A karácsonyt a Spencer gyerekek apjuknál töltötték, aki következésképpen nem engedte őket vissza az anyjukhoz Londonba. Lady Althorp perelt a gyermekei felügyeleti jogáért, de Lord Althorp a társadalmi osztályával és Lady Althorp anyjának vallomásával a lánya ellen volt ebben az időszakban, ezzel is hozzájárulva a bíróság döntéséhez: Diána és bátyja felügyelete az apjuké. Apai nagyapjának, Albert Spencernek, Spencer VII. Earl-jének halálakor (1975) Diána édesapja felvette a VIII. Earl of Spencer nevet, ekkoriban vált ő is Lady Diana Spencerré. Gyermekkori lakóhelyéről családja 16. századi ősi otthonába, Althorpba költözött.

Egy évvel később Lord Spencer elvette Raine-t, (Dartmouth grófnőjét), Barbara Cartland romantikus novellaírónő egyetlen leányát. Ebben az időben Diána körbeutazta az országot, és hol egyik, hol másik szülőjénél élt – vagy apjánál a Spencer kastélyban Northamptonshire-ön, vagy anyjánál, aki elköltözött Északnyugat-Glasgowba, Skóciába. Diána, testvéreihez hasonlóan, rossz viszonyban állt új mostohaanyjával.