В 1930 Лозовой был «поражен в правах» (лишен избирательного права), как «член двора кулацкого хозяйства», и отправлен в ссылку в калмыцкие степи, в село Дербентовка. Работал «культурником», создал передвижной театр. Заочно поступил в Ставропольский педагогический институт на филологический факультет, после его окончания работал учителем в селе Дербентовка.

В 1942 призван в армию, служил на Южном фронте. В 1943 демобилизован, поселился в Сухуми. Работал преподавателем русского языка в институте. В 1948 женился, в 1949 родился сын Александр (впоследствии — художник), в 1956 — дочь Татьяна.

После ссылки не принимал участия в художественной жизни и выставочной деятельности, но продолжал заниматься живописью и графикой. С начала 1960-х поддерживал тесные дружеские и творческие отношения с В. Д. Бубновой, также жившей в Сухуми после возвращения из эмиграции.

В 1992 трагически погиб в Сухуми во время военных действий между Грузией и Абхазией.

Лозовой оставил воспоминания о Филонове (опубликованы в журналах «Эксперимент» в Лос-Анджелесе в 1995 и 2005) и Малевиче (опубликованы в книге «Малевич о себе. Современники о Малевиче» в Москве в 2004).

В 2006 в Московском музее современного искусства прошла выставка «Традиции петербургского авангарда», посвященная творчеству трех мастеров: В. Д. Бубновой, Н. Г. Лозового и А. Н. Лозового. В 2007 произведения Лозового экспонировались на выставке «Филоновцы: от МАИ до поставангарда» в галерее «Арт-Диваж» в Москве, там же в 2007 состоялась и его персональная выставка.

Огромное влияние на творчество Лозового оказали учителя — Филонов и Малевич. Очень значительно в этом смысле влияние работ Малевича позднего, фигуративного, периода. Поэтому в художественном наследии мастера очень мало абстрактных картин, творчество носило в основном предметный, экспрессивный характер и близко традиции неопримитивизма.

Произведения Лозового находятся в крупнейших музейных собраниях России — в Государственной Третьяковской галерее, Государственном Русском музее, ГМИИ им. А. С. Пушкина.