地級市的前身，可以追溯到唐宋時期的"州"，和明清時期的"府"，下領(lǐng)縣和散州（相當(dāng)于今縣級市）。它是一種省與縣之間的二級行政單位，由一級行政單位的?。ㄔ髑鍟r期稱省，唐宋時期稱道或路）所直領(lǐng)。

民國初期，廢府存縣，各省置道，原府所轄各縣劃歸于道，改省、府、縣三級制為省、道、縣三級制，1927年，廢道改為省、縣（市）二級制，并在原府治所在縣，分出縣城設(shè)市，地位與縣平級。

1932年，中華民國開始于省與縣之間設(shè)置“行政督察區(qū)”，屬于準(zhǔn)行政區(qū)劃單位，其管理機構(gòu)行政督察專員公署是省政府派出機構(gòu)。

1949年10月1日，新中國成立后，改行政督察區(qū)為專區(qū)

1971年又改專區(qū)為地區(qū)

1980年代，地區(qū)與市合并，實行市管縣體制改革，為當(dāng)今地級市之肇始。

市管縣體制最早源于20世紀(jì)50年代早期。1950年，旅大行署區(qū)改為直轄市旅大市（1981年改名大連市），管轄金縣（1984年改名金州區(qū)）、長山縣（1953年改名長海縣），改制為遼寧省轄市后，繼續(xù)管轄金縣和長?？h。

1951年，浙江省將省直轄的杭縣（1958年撤銷）劃歸杭州市管轄。

1958年，河北省撤銷“天津地區(qū)”，將武清、靜海等12個縣劃歸省轄天津市領(lǐng)導(dǎo)。

1959年9月17日，第二屆全國人大常委會第九次會議通過了《關(guān)于直轄市和較大的市可以領(lǐng)導(dǎo)縣、自治縣的決定》，對市管縣體制作出了法律上的規(guī)定，直接推動了市管縣體制的發(fā)展。

1960年，全國已有52個市領(lǐng)導(dǎo)243個縣，約占全國縣建制總數(shù)的八分之一。這次市管縣體制產(chǎn)生的契機是大躍進和人民公社運動，缺乏客觀的經(jīng)濟文化基礎(chǔ)，隨之很快降溫。

1961年以后隨著經(jīng)濟調(diào)整和整頓的開始，大量市管縣縣恢復(fù)原有體制，河北省恢復(fù)了全部專區(qū)和專員公署。至1966年全國管轄縣的市降至25個，管轄的縣數(shù)量不到1960年的三分之一，至此市管縣體制經(jīng)歷了第一次大起大落。直到此時，省轄市的轄區(qū)范圍內(nèi)，仍以非農(nóng)業(yè)人口為主，且多為省會城市或重要工業(yè)城市。

1979年，國務(wù)院財經(jīng)委員會派一批專家調(diào)研四川省產(chǎn)業(yè)結(jié)構(gòu)問題，時任中國社會科學(xué)院財貿(mào)經(jīng)濟所所長劉明夫明確提出了“中心城市”的概念。

1982年，中共中央第51號文發(fā)出了“改革地區(qū)體制、實行市領(lǐng)導(dǎo)縣體制”的通知，首先在江蘇試點1983年在全國試行。隨后中央又發(fā)出《關(guān)于地市州黨政機關(guān)機構(gòu)改革若干問題的通知》，要求“積極試行地、市合并”，并把此作為1983年地方政府改革的一項重要內(nèi)容。至此市管縣體制開始在全國范圍內(nèi)推行，并且在國家的 ^[4]  行政區(qū)劃序列里，正式將市分為地級市和縣級市。 ^[1] 

2011年8月22日，安徽宣布撤銷地級巢湖市，并對原地級巢湖市所轄的一區(qū)四縣行政區(qū)劃進行相應(yīng)調(diào)整，分別劃歸合肥、蕪湖、馬鞍山三市管轄。 ^[5] 

2019年1月9日，國務(wù)院批復(fù)同意山東省調(diào)整濟南市萊蕪市行政區(qū)劃，撤銷萊蕪市，其行政區(qū)劃并入濟南市。 ^[6] 

地級市可分為以下3種情況：

就其產(chǎn)生的途徑來說，1983年以后的地級市大致可以分為幾種類型，即：

汕尾市，這種名字采用原來所屬的下級行政單位的名字（可能是縣級、也可能是鄉(xiāng)科級），作為新地級市名字的方式，不屬于由鄉(xiāng)鎮(zhèn)直接升格為地級市。汕尾市是由原惠陽地區(qū)析出、分離而設(shè)置，不是由一個鎮(zhèn)直接升級而來的，汕尾市（地級）設(shè)立后，管轄海豐縣等。 ^[7] 

按照1982年《憲法》的規(guī)定，大陸主要實行省、縣、鄉(xiāng)三級地方行政區(qū)劃體系，省、縣兩級之間只有較大的市和自治州可以管轄縣。但是憲法實施之后，很多市經(jīng)國務(wù)院批準(zhǔn)開始管縣，他們并不是自然形態(tài)上的“較大”，也非經(jīng)國務(wù)院據(jù)《地方組織法》批準(zhǔn)的“較大的市”。

2015年修訂的《立法法》規(guī)定設(shè)區(qū)的市都可以制定地方性法規(guī)。 ^[8]  設(shè)區(qū)的市是法律上的用語，基本等同于地級市（兩者區(qū)別在于：1、直轄市設(shè)區(qū)但其非地級市。2、地級市有5個未設(shè)區(qū)）。

所謂的地級市、縣級市是從過去的行政區(qū)劃稱謂演變來的。以江蘇省為例，省會是南京市，所以叫省會市；1949年南京解放，成為中央人民政府直轄市，為中華人民共和國成立初全國13個直轄市之一。1952年9月與蘇南、蘇北（蘇中）行政區(qū)合并，成立江蘇省。11月15日，南京改為省轄市。1953年1月1日，江蘇省人民政府正式成立，南京為省會。全省原來劃分有徐州地區(qū)、蘇州地區(qū)、無錫地區(qū)、常州地區(qū)、鎮(zhèn)江地區(qū)、揚州地區(qū)、南通地區(qū)、連云港地區(qū)、淮陰地區(qū)和鹽城地區(qū)，這些地區(qū)也叫行署，行署的所在市就叫縣級市，地區(qū)行署下轄縣級市和縣。20世紀(jì)80年代后期，江蘇省取消了地區(qū)行署，由地級市轄管縣。改革開放后，有的縣經(jīng)濟發(fā)展很快，縣城基礎(chǔ)建設(shè)不斷提高，經(jīng)過省和中央審批，符合條件的縣可以撤縣改市，雖然也稱“市”了，但仍歸原地級市管轄，它的行政級別仍是正處級。像蘇州的常熟市、昆山市、張家港市、南通的海門市、啟東市等，就屬于縣級市。

《中華人民共和國憲法》第三十條規(guī)定，中華人民共和國的行政區(qū)域劃分如下：（一）全國分為省、自治區(qū)、直轄市；（二）省、自治區(qū)分為自治州、縣、自治縣、市；（三）縣、自治縣分為鄉(xiāng)、民族鄉(xiāng)、鎮(zhèn)。直轄市和較大的市分為區(qū)、縣。自治州分為縣、自治縣、市。

《中華人民共和國憲法》第八十九條規(guī)定，國務(wù)院行使批準(zhǔn)省、自治區(qū)、直轄市的區(qū)域劃分，批準(zhǔn)自治州、縣、自治縣、市的建置和區(qū)域劃分的職權(quán)。

根據(jù)《中華人民共和國憲法》第三十條（二），“市”不是直轄市，而較大的市為“市”的一種建置；根據(jù)《中華人民共和國憲法》第八十九條，只有國務(wù)院才可以批準(zhǔn)“市”的建置和區(qū)劃。

由于《中華人民共和國憲法》在1954年頒布時的條文中已經(jīng)有較大的市的建置，遠比1982年修訂的《地方組織法》和2000年頒布的《立法法》早，也就是說至少在1982年修訂《地方組織法》之前，憲法中的“較大的市”是指較大的“市”、經(jīng)國務(wù)院批準(zhǔn)行政區(qū)域劃分為區(qū)、縣的“市”。而憲法全文中”只有“直轄市”、“市”、“較大的市”、“設(shè)區(qū)的市”、“不設(shè)區(qū)的市”這幾種描述，并沒有“縣級市”“地級市”等另外的說明，那只是按常識引申出來的行政級別名稱。 ^[9]