加入后备军官训练团也使鲍威尔能从大学毕业，因为他的学习成绩都是不能毕业的“C”，而后备军官训练成绩都是“A”。1958年夏，鲍威尔大学毕业，这时有位现役军官对他说：“如果你干得好，也没有犯错，20年后我们就让你当中校。”抱着当中校的想法，鲍威尔于1958年6月宣誓参加了美国陆军。
鲍威尔从军后被派到佐治亚州的本宁堡受训，在训练和工作中吃苦耐劳，谈吐幽默，处事公正，富有感染力和组织能力，很快在不同肤色的同伴中建立了威信。此时虽然美国政府和军队已经严令禁止军队中有种族歧视的行为，但在纽约大都市长大的鲍威尔却在这个原来的南方蓄奴州的一家乡间酒吧里领教了种族歧视的滋味。他的白人朋友愤然要砸这家酒吧。鲍威尔心里暗下决心，要干出些成绩，让这些愚蠢的人看看。几个月后被授予少尉军衔的鲍威尔动身前往联邦德国，在巴伐利亚附近美国第3装甲师的一个步兵营里当排长。
1960年年底，晋升中尉的鲍威尔回到本土，在马萨诸塞州德文斯堡一个步兵旅司令部当联络官，后又在一个步兵营里当连长兼营作训参谋。他在繁杂的工作中显示出出众的协调能力和组织能力，提前晋升为上尉。在德文斯堡，鲍威尔与来自亚拉巴马州的黑人姑娘阿尔玛·约翰逊邂逅，在8个月后两人进入热恋，讨论结婚时，鲍威尔接到前往越南的命令，于是，两人于1962年8月25日结婚。