薛怀义，京兆鄠县人，本姓冯，名小宝，以卖台货为业，他身躯魁梧，强健有力，在洛阳做买卖，得以遇见千金公主的婢女。千金公主了解他后，进宫说：“冯小宝有非同寻常的资质能力，可以让他充当近身侍者。”因而得到武则天召见，对他的赏识厚待日甚一日。
武则天想隐蔽他的行迹，便于他在宫中进出，就将他剃发为僧人。还考虑到薛怀义不是世家大族出身，于是将他改姓为薛，让他与太平公主的夫婿薛绍联为一族，叫薛绍把他当自己最小的叔父侍奉。从此薛怀义进出宫廷都乘坐宫廷马厩的马，由宦官随身侍从，武氏在朝中有权势的众显贵官员，都匍伏在地行大礼谒见他，民间称呼他为“薛师”。
武则天垂拱初年，薛怀义劝说武则天在故洛阳城修复原白马寺，薛本人总领兴修；白马寺修复完成后，他自任寺院主持。薛怀义极其倚仗武则天的宠爱狂妄横行，他的下属犯法，没有人敢于议论。左台御史冯思勖多次据法弹劾他，薛怀义在路上碰到冯思勖，命令随从人员殴打他，几乎致死。他又在建春门内的敬爱寺里面，另建庙堂殿宇，将敬爱寺改名为佛授记寺。薛怀义被授予左威卫大将军官职，封为梁国公。
薛怀义与法明和尚等编撰《大云经疏》，陈述符谶预言，称武则天是弥勒佛转世，做中华及东方诸国君主，李唐王朝运将要衰微。因此武则天改朝换姓立朝称“周”；薛怀义与法明和尚等九人一并封为县公，各赏赐不等的财物；一概赐予紫袈娑、银龟袋。他们随心所欲编造的《大云经疏》颁发天下，每个寺院各藏一本，命令各寺主持高僧登上法坛宣讲解说。
后来，薛怀义厌倦再进宫中，平时大多居住在白马寺，刺血绘画大佛像；又挑选体力强健的平民将他们剃度为僧，人数上千。侍御史周矩怀疑他心怀奸谋，上奏弹劾他，武则天不准奏；周矩坚持奏请弹劾，武则天说：“你暂且退下，朕立即命令他离去。”周矩回到御史台，薛怀义也来到这里，骑着马顺着台阶下来，然后袒露胸腹仰卧在床榻上。
周矩叫来御史台吏役，准备制止他，薛怀义突然骑上马离去。周矩将以上情况一一奏报武则天知道，武则天说：“这个和尚的疯病发作，无法深究。他所剃度的僧人任凭卿审问论罪。”周矩审讯他们，将审得的情状全部禀报给了武则天，众僧人全部发配到边远的各州郡。武则天提升周矩为天官员外郎，最终，周矩遭薛怀义构陷，投入监牢，免去官职。
后来，有个叫沈南趚的御医得到武则天的宠爱，对薛怀义的恩遇渐渐衰减，薛怀义极为怨恨恼怒。证圣元年，宫殿失火，火烧新建的宣布政教的明堂、天堂，两座殿堂全部化为灰烬，武则天心中有愧但隐瞒了这件事，又让薛怀义担任使臣监督兴修；并在再建的明堂下安放了九州鼎，用铜铸成十二生肖塑像，分别放在与自己本命星相应的干支辰位上，各生肖铜塑都高达一丈。薛怀义亲自做呼喊号子的头人率领役工安放生肖铜塑。
此后，薛怀义更加骄纵傲慢，武则天对他厌恶起来，叫太平公主挑选体力强健的宫中妇女数十人，对他严密防范，考虑如何对付他。有人告发了薛怀义的阴谋，太平公主的乳母张夫人命令强壮的卫士捆住薛怀义将他勒死，然后用车子载着他的尸体送到白马寺。薛怀义的近侍僧众，全都流窜逃亡到遥远荒僻的地方。
史家评论：外戚里面的贤者，懂得避宠畏权。不懂得避免招惹祸患的人，很少有能保全的。福气过满了就会衰败，势力过大者就容易颠覆。武则天目光敏锐，能够分辨错对。