На протяжении тридцати девяти лет Иванов Иван Иванович состоял на военной службе. Принимал участие в Октябрьской революции, сражался в Первой мировой войне, Гражданской войне в России, Советско-польской и Великой Отечественной войне. В 1943 году ему присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
В послевоенное время с 1946 года Иванов преподавал в Высшей военной академии имени К.Е. Ворошилова. Затем командовал 85-м стрелковым корпусом, после чего работал на должности заместителя командира 41-го стрелкового корпуса. Однако вскоре был отстранен от должности и зачислен в распоряжение Главного управления кадров Военного министерства.
В 1952 году был осужден Военной Коллегией Верховного суда СССР и лишен воинского звания, наград и свободы. Но через год был освобожден, приговор был отменен, звание Героя Советского Союза ему было возвращено, как и прежнее воинском звание. В 1954 году после обучения он был назначен помощником командующего войсками Северного округа по военно-учебным заведениям.
В 1955 году Иван Иванович Иванов вышел в запас в звании генерал-лейтенанта. За годы доблестной службы Герой Советского Союза был награжден двумя орденами Ленина, тремя орденами Красного Знамени, орденами Кутузова I и II степеней, орденом Суворова II степени и другими не менее значимыми медалями. Последние годы жизни Иванов провел в Москве, где скончался 8 июля 1968 года. Урна с его прахом хранится в колумбарии Новодевичьего кладбища.