В 1906 был удостоен звания действительного члена ИАХ.

С 1890-х начал систематически заниматься коллекционированием. Имел собрания древнерусской и западноевропейской живописи, русской живописи и графики, декоративно-прикладного искусства. В 1890 приобрел дом в Трубниковском переулке, где разместил коллекцию и открыл к ней общий доступ. В 1918 на основе собрания Остроухова был открыт Музей иконописи и живописи, ставший в 1924 филиалом Государственной Третьяковской галереи. С 1919 — хранитель, с 1927 — директор Музея иконописи и живописи им. И. С. Остроухова.

В качестве консультанта участвовал в реставрации памятников архитектуры в Москве (Годуновский собор, Новодевичий монастырь, собор Василия Блаженного, Архангельский собор в Кремле), Троицкого собора в Троице-Сергиевой лавре, Спасо-Евфимиевского монастыря в Суздале. В 1917 участвовал в работе Комиссии по осмотру повреждений памятников архитектуры в Москве (Кремль, собор Василия Блаженного). Член экспертной комиссии по раскрытию и очистке древнерусской живописи при Отделе по делам музеев и охране памятников искусства и старины Наркомпроса.

Автор воспоминаний о В. Д. Поленове (1928), М. А. Врубеле (конец 1920-х), В. А. Серове (конец 1920-х). Инициатор создания и автор текстов к выпускам альбома «Московская Городская художественная галерея П. М. и С. М. Третьяковых» (М., 1904–1909). Под его редакцией вышло юбилейное издание сочинений Н. В. Гоголя (1909). В 1909 участвовал в установке памятника Н. В. Гоголю работы скульптора Н. А. Андреева в Москве.

Помимо художественной, занимался активной общественной деятельностью. С 1901 — гласный Московской городской думы. Член Комиссии по устройству приюта для вдов и сирот русских художников в Москве. В 1890–1917 — попечитель Петровско-Басманного городского начального училища. Действительный член Императорского археологического общества (с 1887), член Англо-русского литературного общества (1894–1917), Московского архитектурного общества (1905), Всероссийского союза деятелей изящных искусств (1906). Один из организаторов Московского литературно-художественного кружка, общества «Свободная эстетика» (1907–1910).

Похоронен на Даниловском кладбище в Москве.

Остроухов — выдающийся деятель русского искусства конца XIX — начала ХХ века. В своем творчестве был близок И. И. Левитану. Его лучшие произведения («Золотая осень», 1886–1887; «Первая зелень», 1887–1888; «Сиверко», 1890) — пейзажи настроения, посвященные природе средней полосы России. В поздние годы практически не работал на пленэре, используя старые этюды.

Произведения Остроухова находятся во многих музейных собраниях, в том числе в Государственной Третьяковской галерее, Государственном Русском музее и других.