穆年幼时就能写文章，有很高尚的行操。他走在路上捡到丢失的东西，一定访到失主归还他。后周显德初年，考中进士，任郢、汝二州从事。

宋初，李穆以殿中侍御史身份任洋州通判。他到任之后，处理积留案件，没有一件滞留。改任陕州通判的时候，朝廷要调郡里租税送到河南。李穆因为本州缺粮，没有立即应命，因此被免职。当时他的弟弟李肃任博州从事，李穆奉养母亲住在李肃的居处，虽然家里很贫穷，兄弟互相讲学，态度豁然淡泊。

开宝六年，入朝任左拾遗和知制诰。五代以来，词令崇尚华丽，李穆崇尚雅正，尽力矫正这个弊端。赵匡胤曾对卢多逊说道：“李穆为人仁善，文学之外无所擅长。”卢多逊答道：“李穆操行端重，遇事不因生死易节，是有仁有勇之人。”赵匡胤说道：“果真如此，我将重用他。”