霍去病是衞子夫的親外甥，霍去病的母親衞少兒是平陽公主的女奴，由於身份寒微，霍去病出生以後一點也不受寵。後來姨媽衞子夫得到漢武帝的寵幸以後，衞家的地位也提升了許多，因此霍去病也得到了父親的重視。
霍去病一出生就不被父親認可，直到姨媽衞子夫入宮，受到漢武帝劉徹的寵愛後，因此霍去病在家裏的地位才得到了提高，關於他是私生子的事情也不再有人提起。
霍去病從小就很聰明、懂事，因為姨媽衞子夫的關係，霍去病在很小的時候就入宮了，和皇宮的皇子們一起學習。霍去病只要有時間，就會去看望衞子夫，時間久了霍去病也得到了漢武帝的注意。
霍去病長大以後，在軍事方面很有才華，漢武帝允許他跟隨舅舅衞青一起抗擊匈奴。霍去病雖然年紀不大，但他很有作戰頭腦，在許多戰役中都立下了不小的功勞，最後也得到了漢武帝的器重。
