Le lieutenant général Kayanja Muhanga "a été nommé commandant des forces terrestres", selon un communiqué du ministère, en remplacement de M. Kainerugaba.
Le ministère a aussi annoncé que le président Museveni avait promu son fils de 48 ans au rang de général, une mesure perçue par des analystes interrogés par l'AFP comme cosmétique, et destinée à faire passer l'autre décision.
La décision du ministère de la Défense est en effet intervenue peu après que M. Kainerugaba a déclenché un tollé en tweetant qu'il était prêt à envahir le Kenya.
"Il ne nous faudrait pas, à nous, mon armée et moi, deux semaines pour capturer Nairobi", a-t-il déclaré lundi soir dans ce tweet, avant de faire volte-face dans un second temps.
"Je ne battrai jamais l'armée kenyane parce que mon père m'a dit de ne jamais le tenter ! Donc, nos gens au Kenya devraient se détendre !"
Le tollé occasionné sur les réseaux sociaux a poussé le ministère ougandais des Affaires étrangères à publier une déclaration disant son "engagement envers le bon voisinage (et) la coexistence pacifique" avec le Kenya.
Yoweri Museveni, qui dirige l'Ouganda d'une main de fer depuis 1986, pourrait de nouveau se porter candidat à l'élection présidentielle prévue en 2026.