霍去病的名字是在出生不久随母亲进宫时汉武帝刘彻给取的。
霍去病出生在平阳公主府，是公主府的女奴与一个小官员私通生下了儿子。在他出生时，姨母卫子夫进宫为妃嫔，舅舅卫青已经被封为大将军，霍去病的妈妈卫少儿可以经常出入皇宫看望妹妹。
这天，卫少儿抱着尚在襁褓的儿子进宫去探望妹妹卫子夫。当时正好是汉武帝卧病在床，宫内非常肃静，宫人们说话动作都轻手轻脚，生怕惊动了皇帝养病。卫少儿抱着孩子，轻轻地拍着，只怕他哭闹起来，惊动圣上，在经过皇帝寝殿时，一路安静的孩子不知怎的突然“哇”的一声大哭起来，声音震耳欲聋。
汉武帝当时正感冒风寒异常不舒服，猛然听见婴儿的哭声，惊得出了一身冷汗，反而觉得身体轻松不少，病气去了大半。他问：“哪来的孩子？”卫少儿害怕地等皇上降罪。
汉武帝见是卫少儿，便让她坐下，把怀里的孩子抱了过去。武帝接过孩子，这孩子到了武帝怀里，眉开眼笑，汉武帝很开心，便问卫少儿：“孩子取名字了吗？”卫少儿说：“未曾。”
汉武帝笑了笑说：“寡人近几天来得了伤风感冒，身体欠安，这孩子大哭几声，惊了我一身汗，这病居然去除了。朕赐名这孩子叫‘去病’怎样？霍，霍然迅捷；去病，除去病根。”卫少儿连忙叩头谢恩，从此，这个孩子就取名霍去病，后来年纪轻轻就成了大汉的将军。