宝元元年（1038年），司马光二十岁，他参加了会试，一举高中进士甲科，从此步入仕林，初任华州（今陕西华县）判官。
至和元年（1054年），司马光离开志趣相投的王安石、石杨休、包拯等人，去往郓州。不久，提任为通判，负责考察全州官吏。
至和二年（1055年），因庞籍出知并州，为河东路经略安抚使，司马光改任并州通判。
嘉祐元年（1056年），他连写三封《请建储副或进用宗室》（第一、二、三状），建议仁宗皇帝立储君，而前后三状没有结果以后，又托范镇在奏事时代为转达，请仁宗有个明确答复。但这一切均未说服仁宗，司马光选择了沉默。
司马光随庞籍在河东路任职期间，宋朝和西夏处于休战时期，但他并没有放松警惕，而是深入民间听取当地人意见。并州乡贡进士刘邕对边事很有研究，写成《边议》10卷，议论很有见地，司马光便予以推荐。
司马光认为绝市和修建堡垒的办法有利于保护边界地区安宁，于是一面禁绝边民和西夏互市，一面决定修堡。正在这时，带兵将军郭恩，乘酒出击西夏，结果大败而归，自己不得已而自杀。
朝廷御史审理此案，庞籍一人承担了责任，事后庞籍被解除了节度使之职，贬谪知青州事，司马光向皇帝连奏三状奏明庞籍是听了他的意见才决定修堡的，说明庞籍完全是出于“欲为国家保固疆圉”的本心，“发于忠赤，不顾身谋”，因为“过听臣言，以至于此”，应当“独臣罪，以至典刑”。而庞籍得知司马光要为自己辩解时，就又上奏章，引咎自归，请求免除司马光之罪，使司马光没有受到任何责罚。
庞籍和司马光以忘年之交，互相支持、爱护，难能可贵。庞籍死后，司马光不忘庞籍对他的大恩，待其家人如自己的亲人。
嘉祐三年（1058年）司马光迁开封府推官，赐五品服；嘉祐六年（1061年），擢修起居注。司马光坚决推辞，连上五状，他认为自己“实非所长”，但仁宗一直不收回成命。
不久，仁宗下诏，迁司马光为起居舍人，同知谏院。任职五年期间，前后向皇帝上奏疏170余份，先后向仁宗上书“三言”、“五规”，多次上书仁宗解决继嗣的问题，仁宗觉得司马光真心为国家社稷考虑，遂将奏折转至中书省。司马光亲自到中书省催办，直到赵曙被立为皇太子。
司马光四十四岁时，擢为知制诰，但司马光不愿就职，他认为这是一个掌管起草诏令的差事，不是他的特长。
为此，他在嘉祐七年（1062年）三月，连上九《辞知制诰状》，说明不适宜任此职务；仁宗皇帝收回诏令，改授天章阁待制兼侍讲，仍知谏院。
嘉祐八年（1063年）三月二十九日，仁宗驾崩。四月赵曙即位，即英宗。两宫矛盾加剧，司马光看到这种情况，四月十三日进《上皇太后疏》，四月二十七日进《上皇帝疏》，力陈国家当务之急应君民同心、内外协力的道理。
六月二十二日，他又上《两宫疏》，指出：“金堤千里，溃于蚁穴；白璧之瑕，易离难合。”皇帝没有太后支持“无以君天下”，太后离开皇帝“无以安天下”。十一月二十六日，又写了两封章奏，一封给皇太后，一封给皇帝。在奏章中，讲历史，摆利害，晓明大义，从全局出发，苦苦相劝，终于得到效验。加之英宗的病情也有所好转，使太后和英宗的矛盾趋于缓和。
从嘉祐八年（1063年）三月到治平元年（1064年）七月的一年多时间里。司马光为消除太后和英宗之间的矛盾，前后共上奏章17封。在五年的谏官生涯中，除了关注社会上层，帮助朝廷解决好皇位继承和皇帝的修身要领、治国政纲等关系国家命运的大事外，同时也把注意力放到下层人民身上。
他发出了关心人民疾苦，减轻人民负担的呼声。
而且这个思想几乎贯穿在他所有的奏章里。他在《论财利疏》中指出：当今天下最苦的是农民，因为“农民苦身劳力，粗衣粗食，还要向政府交纳各种赋税，负担各种劳役。收成好的年代，卖掉粮食以供官家盘剥，遇到凶年则流离失所，甚至冻饿而死”，建议切实采取一些利民措施。