В начале 1919 года Ротмистров вступил в Красную Армию, в Самарский рабочий полк, в составе которого участвовал в боях под Бугульмой против войск Колчака. Затем он был направлен на военно-инженерные курсы, по их окончании зачислен в 42-й этапный батальон 16-й армии Западного фронта. Ротмистров участвовал в подавлении Кронштадского мятежа, получил ранение.

В 1921 году он поступает в Смоленскую пехотную школу, после окончания которой, получает назначение в 149-й пехотный полк политруком роты.

В следующем году Павел Ротмистров был принят в Военную объединенную школу ВЦИК и сделался кремлевским курсантам. В 1924 году он окончил училище и был распределен в Ленинград командиром взвода 31-го полка 11-й стрелковой дивизии.

В 1928 году он поступает в Военную академию им. М.В.Фрунзе и, успешно окончив ее в 1931 году, получает должность начальника первой части штаба Забайкальской стрелковой дивизии, находившейся в Чите. Через два года Ротмистров становится заместителем начальника оперативного одела штаба округа.

Летом 1937 года Павел Алексеевич Ротмистров был назначен командиром 63-го стрелкового полка 21-й Приморской дивизии, а в октябре он был приглашен на должность преподавателя тактики Военной академии моторизации и механизации РККА. Сдав командование полком, он прибыл в Москву. В академии Ротмистров изучал опыт применения танков в Испании и на Халхин-Голе. Вскоре он стал кандидатом наук и доцентом.

В 1939-1940 годах Павел Алексеевич Ротмистров принимал участие в советско-финляндской войне. Он возглавил танковый батальон, лично руководил танковыми атаками на “линию Маннергейма” и боями под Выборгом.

После войны он был назначен заместителем командира 5-й танковой дивизии 3-го механизированного корпуса Прибалтийского Особого военного округа. В конце мая 1941 года Ротмистров стал начальником штаба корпуса.

На этой должности он встретил начало Великой Отечественной войны. 3-й механизированный корпус вошел в состав 11-й армии Западного фронта, где оказывал ожесточенное сопротивление танковым группам Гудериана и Моделя. Действуя на Шяуляйском направлении, штаб корпуса попал в окружение, но смог из него выйти.

В начале 1942 года Ставкой было принято решение о расформировании 20 танковых корпусов и двух танковых армий. Ротмистров был назначен командиром 7-го танкового корпуса, начавшего формирование в районе Калинина. В конце июня 1942 года 7-й корпус был переброшен под Елец, войдя в состав 5-й танковой армии. В районе Землянска корпус вступил в бои с 11-й немецкой дивизией и сумел нанести ей сокрушительное поражение.

В августе 1942 года корпус Ротмистрова был передан Брянскому фронту и направлен под Сталинград, где вошел в состав 1-й гвардейской армии. Во время Сталинградской битвы танки 7-го корпуса под командованием Ротмистрова сначала сумели быстро прорвать оборону немцев, а затем еще раз прекрасно выполнили приказ командования, отбив атаки немецких танковых частей, прорывавшихся на помощь окруженной 6-й немецкой армии генерала Паулюса. Корпус успешно действовал в районе хутор Рачковский, а затем в составе 2-й гвардейской армии участвовал в разгроме Котельнической группировки немецкой группы армии “Дон” и освобождении города Ростов-на-Дону.

С февраля 1943 года Павел Алексеевич Ротмистров командовал 5-й гвардейской танковой армией, отличившейся в Курской битве. Войска армии сыграли решающую роль в сражении под Прохоровкой. Армия под командованием П.А.Ротмистрова успешно участвовала в Белгородско-Харьковской и Уманско-Ботошанской наступательных операциях, разгроме крупных вражеских группировок в районе Кривого Рога, Кировограда, окружении и ликвидации корсунь-шевченковской группировки противника.

Летом 1944 года Ротмистров со своей армией участвовал в Белорусской наступательной операции, освобождении городов Борисов, Минск, Вильнюс. С августа 1944 года назначен заместителем командующего бронетанковыми и механизированными войсками Советской Армии.

После войны в 1945–1947 годах П.А.Ротмистров – командующий бронетанковыми и механизированными войсками Группы оккупационных советских войск в Германии, с 1947 года – Дальнего Востока. В 1948–1956 годах – начальник кафедры бронетанковых и механизированных войск, в 1956–1958 годах – заместитель начальника кафедры стратегии и оперативного искусства Высшей военной академии.

С 1958 года – начальник Военной академии бронетанковых войск. В целях совершенствования учебного процесса активно поддерживал связь с войсками, для улучшения военно-научной работы часто организовывал творческие конференции, участвовал в разработке трудов по использованию танковых войск в бою, операции и войне в целом, а также перспективам их развития. С 1964 года – помощник министра обороны СССР по высшим военно-учебным заведениям. С июня 1968 года – в Группе генеральной инспекции МО СССР.

Павел Алексеевич Ротмистров скончался в 1982 году и был похоронен на Красной площади у Кремлевской стены.