1941년 일본 오사카에서 태어나 1945년 귀국하여 전남 순천에서 성장했다. 서울대학교 불어불문학과를 졸업했고 1962년 한국일보 신춘문예에 단편소설 「생명연습」이 당선되어 등단했다. 같은 해 김치수, 김현, 최하림 등과 함께 동인지 『산문시대』를 발간하고 「건」 「환상수첩」 「누이를 이해하기 위하여」 「확인해본 열다섯 개의 고정관념」 등의 단편소설들을 발표했다.1964년 「역사」 「무진기행」 등을 발표하며 전후 세대를 넘어선 작가로 문단의 인정을 받았고, 1965년 단편소설 「서울, 1964년 겨울」로 동인문학상을 수상하면서 새로운 감수성의 탄생을 알렸다. 1977년에는 단편소설 「서울의 달빛 0장」으로 “현대의 도시 문명 속에서 변질되어 가는 인간관계를 그리고 있다”는 평가를 받으며 제1회 이상문학상을 수상했다.대학 재학 중 한국일보사에서 발행하는 서울경제신문에 만화 〈파고다 영감〉을 연재해 문학뿐만 아니라 그림에서도 탁월한 감각을 선보였고, 「무진기행」을 영화 〈안개〉로 각색하는 한편, 김동인의 「감자」를 각색·연출하고 이어령의 「장군의 수염」을 각색하여 대종상 각본상을 수상하는 등 문화 다방면에 걸쳐 시대를 앞서나가는 재능을 발휘했다.1980년 장편 『먼지의 방』을 연재하다가 광주민주화운동 소식에 창작 의욕을 상실하고 절필했다. 1999년 세종대학교 국어국문학과 교수로 부임했으나 2003년 오랜 친구인 소설가 이문구의 부고를 듣고 뇌졸중이 발병해 교수직을 사임했다. 2010년 순천에 ‘김승옥 문학관’이 지어졌다.