С 1882 — участник выставок (2-я выставка Общества выставок художественных произведений). Экспонировал свои работы на академических выставках (1884–1918, с перерывами), ТПХВ (1895–1896), Санкт-Петербургского общества художников (1898), Товарищества южнорусских художников (1912). В 1889 получил медаль третьего разряда, в 1900 — Первую золотую медаль на Всемирных выставках в Париже, в 1904 — золотую медаль на Всемирной выставке в Сент-Луисе (1900). Участвовал также в международных художественных выставках в Мюнхене (1893, 1895, 1901, 1909, 1913), Берлине (1896), Венеции (1897, 1914), Льеже (1905), Всемирных выставках в Чикаго (1893) и Риме (1911).

В 1911 был удостоен звания академика. С 1912 состоял действительным членом Общества архитекторов-художников.

После Октябрьской революции участвовал в осуществлении плана монументальной пропаганды; выполнил памятники Г. В. Плеханову (1921–1925) и Д. И. Менделееву (1932) для Ленинграда, а также скульптурные группы «Февраль 1917 год», «Майские торжества», «В дни Октября» (1926).

В 1918–1925 преподавал в Петроградских государственных свободных художественных учебных мастерских — Вхутемасе; в 1921–1923 — декан скульптурного факультета Вхутемаса, профессор.

Провел персональные выставки в Петрограде — Ленинграде (1918, 1934). Участвовал в выставках Общества художников им. А. И. Куинджи (1929, 1930), выставке «Художники РСФСР за XV лет» в Ленинграде и Москве и других.

Автор многочисленных литературных работ, воспоминаний о встречах с художниками, писателями и общественными деятелями (Скульптор Илья Гинзбург: Воспоминания, статьи, письма / Сост. Е. Н. Маслова. Л., 1964).

Гинцбург — один из наиболее значительных мастеров отечественной скульптуры последней трети XIX — первой трети XX века. В своем творчестве органично сочетал традиции академизма и реалистического искусства. Произведения отличаются непосредственностью наблюдений и тщательной трактовкой деталей. Известны поздние отливки с форм мастера, выполненные в 1950–60-х.

Творчество Гинцбурга представлено во многих музейных собраниях, в том числе в Государственной Третьяковской галерее, Государственном Русском музее, Государственном Историческом музее, Научно-исследовательском музее Российской Академии художеств и других.