科举及第后，累任侍御史、兵部员外郎等官。“安史之乱”时，任太原少尹，协助李光弼守太原，颇有功绩和谋略，被舆论所推重，升任宪（刑）部侍郎。后，两次出任宰相。
外任河南副元帅、侍中持节都统河南淮西、山南东道诸节度行营事、东都留守、河东节度使兼太原尹、北都留守等军事要职，并以“才微位高”、“无益时事”、不应“无功增秩”等理由自谦，让出高位和兼职。在太原少尹任上，他整肃纪律，从严治军，将恃功自居不受约束的太原旧将王无纵、张奉璋等到以军法处斩，全军将校再不敢玩忽职守。
“安史之乱”被平息后，当王维因被安禄山俘虏而受审查时，他诚恳地要求免除自己的官职来为兄长
