호가 요산(樂山)인 관계로 흔히 요산선생이라 부르는 김정한은 지금의 부산광역시 금정구 남산동에서 김기수(金基壽)의 장남으로 태어났다. 어릴 때 서당에서 한학을 배우다가 명정학교, 중앙고보를 거쳐, 1928년 현 동래고등학교인 동래고보를 졸업하였으며, 대현공립보통학교의 교원을 지냈다. 같은 해 11월에는 일본제국주의가 우리나라 사람들을 차별 대우하는 현실을 목격하고 조선인교육연맹의 조직을 계획하다가 사전에 발각되어 일본 경찰에 체포되었다. 1929년 일본에 건너갔다가 이듬해 와세다대학 부속 제일고등학원 문과에 입학하였으며, 1932년에는 귀국하였다가 양산지역의 농민봉기사건에 연루되어 투옥되었다. 1933년에는 남해공립보통학교의 교원으로 재직하면서 농민문학에 집중하였다. 1936년에는 일제강점기 궁핍한 삶을 살아가는 농촌의 현실과 친일파 승려들의 잔혹상을 묘사한 단편 소설 ｢사하촌｣이 <조선일보>의 신춘문예에 당선되면서 정식으로 문단에 등단하였다. 이후에도 일제강점기 식민지 현실의 여러 모순을 강렬하게 비판하는 단편소설을 지속적으로 발표하였다.

 1940년에는 한국어교육이 금지되면서 교직에서 사직하고, <동아일보> 동래지국을 인수하여 운영하다가 치안유지법 위반으로 검거되었으며, 그 해 8월에는 <동아일보>가 강제 폐간되면서 절필에 들어갔다. 해방된 1945년에는 건국준비위원회 경남지부에서 활동하였으며, <민주신보> 논설위원을 지냈다. 1947년에는 부산중학교의 교사를 지내다가 1950년부터는 부산대학교에서 교수생활을 시작하였다. 1961년 5․16군사쿠데타 직후에는 교수직을 물러나 <부산일보>의 상임논설위원으로 활동하다가 1965년 부산대학교로 복직하여 1974년에  정년퇴직하였다.  1967년에는 한국문인협회 및 예총부산지부장을 역임하였고, 1974에는 자유실천문인협의회의 고문을 맡았으며, 1987년에는 그 후신인 민족문학작가회의의 초대의장을 지냈다.

 1966년에는 <문학> 6월호에 낙동강하구에 사는 가난한 어촌 사람들의 생활과 수난 모습을 리얼하게 묘사한 <모래톱 이야기>를 발표하면서 중앙 문단에 다시 등장하였다. 1969년에는 한말부터 해방직후까지 이르는 한 여인의 일생을 통해 가족의 역사와 우리 민족의 수난사를 사실적으로 묘사한 중편소설 ｢수라도｣로 제6회 한국문학상을 수상하였으며, 1971년에는 제3회 문화예술상을 받았다. 1978년에는 김정한 자전에세이 <낙동강의 파숫군>도 출간하였다. 노년에 스스로를 ‘낙동강의 파숫군’이라 하였듯이 평생을 고향인 부산지역에서 활동하면서 우리 지역사회의 토속적인 삶을 문학작품으로 담아낸 대표적인 지식인이다. 이 때문에 부산지역에서는 그의 문학정신을 창조적으로 계승․발전시키기 위해 요산기념사업회가 운영되고 있다. 1998년에는 요산문학제를 제정하였고, 2003년에는 금정구 남산동의 요산 생가를 복원하였으며, 2006년에는 요산 생가 옆에 요산문학관을 개관하였다. 2014년부터는 부산관광공사가 운영하는 낙동강 생태탐방선에서 ‘김정한 선생의 소설 이야기’를 들려주고 있고, 사하구에서는 2015년부터 ‘모래톱 문학상’을 제정하고 있다.