至正二十一年（1361年），朱元璋改枢密院为大都督府。最高军事长官为大都督，朱元璋的侄子朱文正担任了大都督。他既是首任也是最后一任。朱文正在至正二十五年（1635年）因犯罪入狱以后，朱元璋就不再设置此职位。到了洪武十三年（1380年），连大都督府都撤销了。一分为五，成立了前、后、左、右、中都督府来替代。
大都督府拥有统兵权和调兵权，不受兵部节制。而五军都督府只有统兵权，调兵权则归属兵部，两方相互制约，防止独揽军权。
朱文正下台以后，大都督府的大权落在了左都督的肩上。这位大都督府左都督就是朱元璋的外甥李文忠（洪武三年主持大都督府兼管国子监）。
大都督府设左、右都督，都督同知，都督佥事。左都督的职权要大于右都督。担任过左都督的是汤和（洪武十一年）、丁玉（洪武十二年）；担任过右都督是冯胜；担任过都督同知的是沐英、傅友德、华云龙、陆仲亨、顾时、郑遇春、吴良、赵庸、汪兴祖、朱英、王志；担任过都督佥事的是何文辉、金朝兴、张温、吴复、王弼、梅思祖、仇成、胡海、陈桓、张赫、谢成、费聚、濮真、费子贤、张德、朱寿、张翼、王成、王简、何德、单发、庄龄、丘广、胡德、马云、陈方亮、陈德、。
另外，追封都督等职也是一种荣誉和家属待遇。例如:都督佥事张温、瞿通被追封为右都督；卫指挥佥事李杰（国丈、淑妃之父），被追封为都督佥事:潘毅、孙虎被追封为都督佥事。
