在卫媪年轻时，她的生活也颇为多彩，曾与一个姓氏为卫的人有过暧昧之情，此外，她还是平阳侯府的一个侍女。不过她所生的孩子们都没有继承她的姓曹，这反映出平阳侯对她的态度并不高。据史书记载，她实际上是一名家仆，而非正式的奴婢。无论如何，她应当从事类似于佣人的工作，将她描述为女仆则未夸大其词。
据说，在年轻的时候，卫媪并非姓氏为卫。她美丽的外表让人留下深刻印象，一位男子便与她产生了感情后，卫媬竟然怀孕了。随后，她生下了两个儿子：一位名叫卫长子、另一位更著名的叫做衛子夫——刘彻（汉武帝）的贵妃之一，其儿子虽然未能登基，但孙子却成为了一任皇帝，即汉昭帝，从此大汉帝国得以拥有了一半血统中的她的遗产。
关于她的容貌，郑季这位平阳县吏被吸引，并与她发生了关系。在一起之后，他们生育了一个男孩，当时并不知其名字，只是在后来才命名为卫青。这个人更是卓越无比，他不仅从小放牧牛马做骑兵奴隶，最终竟成了大将军，并娶上了皇帝的姐妹成为了驸马。可见英雄豪杰往往不拘泥于出身低微的地位。
