中山市人民检察院的前身是中山县人民检察署和石岐市人民检察署，始建于1954年，“文革”期间被撤销。1978年7月，重建中山县人民检察院。1984 年2月，因中山撤县建市，改称中山市人民检察院。1988年5月，随着中山市升为地级市，中山市人民检察院升格为地级市检察院，下设市区人民检察院作为市检察院的派出机构，行使县一级人民检察院的职权。为适应新时期中山市经济社会发展的需要，2007年12月经最高人民检察院批准，中山市增设第二市区人民检察院，行使县一级人民检察院的职权，原市区人民检察院改称第一市区人民检察院。

我市现有市检察院和第一、第二市区检察院两个基层院。2018年，我市检察机关在监察体制改革中共转隶政法编制检察人员66人，划转劳动合同制检察辅助人员7人。

2019年，完成全市检察机关内设机构改革，市院设置8个检察业务部门、5个司法行政部门共13个内设机构，第一市区院设置6个检察业务部门、4个司法行政部门共10个内设机构和4个镇区检察室，第二市区院设置5个检察业务部门、3个司法行政部门共8个内设机构和3个镇区检察室。