卫玠的第一个妻子是尚书令乐广之女乐氏,第二任妻子是征南将军山简之女山氏。
卫玠的第一任妻子乐氏很早就去世了,征南将军山简见到卫玠,非常欣赏他。山简对卫玠说:“在以前戴叔鸾嫁女的标准,是只嫁给贤能的人,不看重地位高低,何况卫氏可是权贵门户有名的人啊!”于是把女儿嫁给了卫玠。卫玠从小就表现出了异于常人的特质,容貌更是美丽的不平凡。他的祖父卫瓘曾说卫玠注定会成长成一个出色的人物,只遗憾自己年纪大了,等不到他长大成人的那一天。历史记载卫玠年少时曾乘车到街上去玩,看到他的人都感叹这真是玉雕琢而成的孩子。等到卫玠长大,出色的容貌和过人的才华让他成为了远近闻名的人,大家都争相来与卫玠见面。他的舅舅曾经感叹过,自己和卫玠走在一起,自己就像在明珠旁边的石头一样不起眼,可见卫玠确实是姿容高于常人很多。可惜卫玠最后早逝,年仅二十七岁就病逝了,他的妻子也没有后续的记载。