西汉初在中央政府中设立太尉，不置司马。西汉武帝刘彻于建元二年（前139年）罢太尉，元狩四年（前119年）始置大司马，以大将军卫青、骠骑将军霍去病功多，特加号大司马，以冠将军之号。《汉旧仪》“载：“元狩六年，罢太尉，法周制置司马。时议者以为汉军有官侯、千人、司马，故加“大”为大司马，所以别异大小司马之号”。可见汉武帝时特设大司马以代太尉之权，但“无印绶，官兼加而已”，是为加官。其地位的高低要靠所加将军的地位来体现。
西汉之世，有资格冠加大司马的有四类将军，即大将军、骠骑将军、车骑将军、卫将军，“武昭以后，大将军无不加大司马者。车骑、票骑、卫将军或加或不加。它将军无加大司马者”。其中大将军、骠骑将军位次丞相，车骑、卫将军位次上卿（《后汉书百官志》）。冠加大司马后，其位秩不变，大司马大将军（大司马骠骑将军）尊比丞相，大司马车骑将军（大司马卫将军）贵比上卿。大将军、骠骑、车骑、卫将军因为有了大司马这一加官称号，得以名正言顺地管理日常的军事行政事务。
秦朝和西汉前期，以丞相（有时称相国）掌政务，太尉掌军事，御史大夫为丞相之副，掌监察。汉武帝时期，内朝逐渐成为中央枢机所在。武帝时天子的宾客，大都是挂著侍中头衔与政的。但武帝时的将军都是领兵出征，并不参与朝廷政治。卫青和霍去病并为将军，加大司马，亲信无人可以比拟，但他们也都从来不过问国家的大计。直到昭帝时，霍光才用“大司马大将军领尚书事”的名义当政，权力在宰相以上（“政事壹决大将军光”《霍光传》）。后成帝即位，王凤为大司马大将军辅政，“政事大小皆自凤出，天子曾不一举手”（《外戚传》）。
大司马可进入内朝参决政事，秉掌枢机。《汉书》卷七十傅常郑甘陈段传第四十：“于是中朝左将军辛庆忌、右将军廉褒、光禄勋师丹、太中大夫谷永孟康曰：“中朝，内朝也。大司马左右前后将军、侍中、常侍、散骑、诸吏为中朝。丞相以下至六百石为外朝也。”作为中朝之首，其主要职能只是为天子处理政务时充当参谋和顾问，献可替否，为更好地体现辅政职能。
西汉之制均以内朝官领尚书事，因此对诸将军来说，加官大司马实际成为领导中央枢机，直接辅佐皇帝，在内朝处理政务的重要标志。对外戚而言，能否合理辅政，重要的是看能否袭司马号。被加授司马号，就可“履上将之位，食膏腴之都，任周召之职，拥天下之枢，可谓富贵之极，人臣无二”（《谷永传》）。大司马权位之重，由此可见一斑。
汉成帝、汉哀帝时期大司马逐渐由加官向本官转化。废丞相改为大司徒，但大司马仍存，与大司空同属三公之一，共掌朝政。
据《汉书.百官公卿表》：“成帝绥和元年初赐大司马金印紫绶，置官属，禄比丞相，去将军。哀帝建平二年复去大司马印绶，官属，冠将军如故。元寿二年复赐大司马印绶，置官属，去将军，位在司徒上。”大司马由原来必须依附于将军的加官变成了金印紫绶，有官属，禄比丞相，位在司徒上的实实在在的独立职官，成为名正言顺的三公，正式纳入了正常的百官公卿官僚系统之中，这就意味着大司马由旧的内朝领袖开始转为外朝首领。
成哀改制后，本该成为地道的外朝首领的大司马却仍被当时人视为“内辅之臣”，如哀帝时众人以傅喜可为内傅之臣而被荐为大司马（《傅喜传》），王莽加九锡时策曰：“登大司马，职在内辅”（《王莽传》）。使大司马无论在名义上还是实际中都成为百官之首，大有汉初丞相的风采，如董贤为大司马卫将军，领尚书事，位极人臣，百官因贤奏事。最终王莽以三公大司马身份篡夺了汉家的天下。