李淵是帶過兵的。

隋大業十一年，李淵調任山西河東慰撫大使，鎮壓毋端兒為首的義軍。

《舊唐書·本紀第一》記載：「高祖從十余騎擊之，所射七十發，皆應弦而倒，賊乃大潰。」

可見李淵射術之精。

雀鼠谷之戰，隋煬帝大業十二年（616年）四月，在隋末民變中，隋朝右驍衛將軍李淵率軍在雀鼠谷（今山西介休西）地區進剿甄翟兒的作戰。

甄翟兒原為上谷（今河北易縣）民軍首領魏刀兒部將，擁兵十萬，率領民變軍攻打太原（今太原西南），大敗隋朝將軍潘長文和慕容羅睺軍，經常轉戰今山西北部地區，嚴重威脅太原。隋煬帝楊廣為加強太原守備，于616年十二月，命李淵為太原留守，虎賁郎將王威、虎牙郎將高君雅為副將，率領河東太原兵馬五六千人，進攻甄翟兒軍。

雙方相遇于雀鼠谷。甄翟兒率軍二萬余人，布陣十余里，首尾相繼，抗拒李淵軍。李淵卻布為二陣，以羸弱之兵居中，多張旗幟，全部輜重繼后，為大陣；自率精騎數百分左右，為小陣。并舍棄一些輜重物資，以引誘甄軍中計。交戰時，王威領大陣居前進擊，甄翟兒誤認為是李淵所在，便率甄軍精銳迎戰。甄軍戰士見官軍輜重，舍鞍爭相取物。李淵率左、右二隊，突然進擊，甄軍大亂。李淵與其次子李世民率領步騎兵乘勢縱擊，大敗甄翟兒部，俘獲甚多。

詔以右驍衛將軍唐公李淵為太原留守，以虎賁郎將王威、虎牙郎將高君雅為之副，將兵討甄翟兒，與翟兒遇于雀鼠谷。淵眾才數千，賊圍淵數匝；李世民將精兵救之，拔淵于萬眾之中，會步兵至，合擊，大破之。——《資治通鑒》一百八十三卷 隋紀 7

面對突厥騎兵的侵擾，李淵顯示出高人一等的謀略。他選出兩千名擅長騎射的士兵，要求他們把自己當成突厥人，吃穿住均遵照突厥習慣，很快，他們儼然成為一對突厥鐵騎。當突厥再次南下侵擾時，這支部隊突然殺出，突厥騎兵一臉茫然，不知所措，結果大敗而回。很久不敢南侵。

在晉陽起兵以前，突厥大部隊南下襲擾晉陽，李淵自知不敵，于是他大膽弄險，唱了一出空城計。他命令晉陽外城四門大開，士兵不得露頭，突厥人見此情形擔心有詐，不敢輕舉妄動，在外城溜達了一圈又退出城去。夜間，李淵命令部隊悄然出城，第二天早上，大張旗鼓的進城，突厥士兵看到這麼一大對援軍到來，自知難以對付，便主動撤退。