Иван Андреевич начал службу в русской армии в 1746 году. Участвуя в Семилетней войне, он получил несколько тяжелых ранений, но продолжил продвижение по службе, достигнув звания генерал-поручика. В 1768 году Рейнсдорпа назначили губернатором Оренбургской губернии, где он сразу же занялся укреплением обороны. Были усилены крепостные линии путем увеличения людей для защиты территорий, включая мобилизацию казаков, башкир и татар. Однако главную цель своего правления он видел не только во внутреннем спокойствии, но и в экономическом процветании вверенной губернии.
Одной из главных проблем Ивана Рейнсдорпа на должности губернатора стало восстания яицких казаков под руководством Емельяна Пугачева. Осенью 1773 года Пугачёв подступил к Оренбургу. Рейнсдорп сумел организовать оборону города, стянув гарнизоны из ближайших крепостей. Губернатор приказал вооружить всех жителей, могущих носить оружие.
Пугачев, боясь неудачи и жалея людей, решил голодом заставить город сдаться, но попытки мятежников блокировать Оренбург оказались неудачными — в город продолжали поступать припасы, а разведотряды регулярно тревожили лагерь бунтовщиков. Гарнизон под руководством Рейнсдорпа укрепил оборону, восстановив валы и организовав вылазки. В марте 1774 года правительственные войска начали активное наступление, и 22 марта предводитель восстания потерпел сокрушительное поражение в сражении у Татищевой крепости. После этого осада Оренбурга была окончательно снята — остатки повстанческой армии отступили на восток, в Башкирию.
Благодаря тактике Рейнсдорпа, в которой он избегал генеральных сражений, делая ставку на изматывание противника город удалось удержать. Иван Рейнсдорп сохранил пост губернатора до 1781 года. Императрица Екатерина II отметила его «мужественный дух» в обороне Оренбурга, наградив орденом Святого Александра Невского.