牙克石市歷史悠久。《盛京通志》稱牙克石為扎敦昂阿，《中國歷史地圖集》標雅克薩。在距今6000年前的新石器時期，雅魯河、綽爾河流域已有人類活動。

先秦，屬東胡地。西漢初，匈奴擊敗東胡，建奴隸制政權，為左賢轄地。東漢，在大興安嶺北部深山密林中游獵的鮮卑拓跋部南遷大澤（今呼倫湖），此地為鮮卑部落領地。隋，屬遼西室韋部落領地。唐，歸河北道室韋都督府管轄。遼，大興安嶺以東地區(qū)歸上京道東北路招討轄，嶺西地區(qū)由烏古敵烈統(tǒng)軍司轄。金，嶺東歸蒲與路轄，嶺西歸東北路招討司轄。元，實行領戶分封制，嶺西為合拙·哈薩爾封地，嶺東為合赤溫·額勒赤封地。元至元十五年（1288年），諸王封地納入行省，嶺西歸嶺北行省和林路轄，嶺東歸中書省泰寧路轄。

明，嶺西歸努爾干都司斡難河衛(wèi)海刺兒千戶轄，嶺東歸卓爾河衛(wèi)轄。清，嶺西歸呼倫貝爾副都統(tǒng)衙門轄，嶺東歸布特哈總管衙門轄。雍正十年（1732年），索倫（鄂溫克）等民族從大興安嶺以東布特哈地區(qū)遷至呼倫貝爾草原，建索倫左、右兩翼八旗，左翼四旗駐牧在通俄羅斯道路邊境一帶，大興安嶺以西地區(qū)為轄地。同年，清政府加強邊防統(tǒng)治，在齊齊哈爾至呼倫城設10臺（境內設5臺）。光緒二十九年（1903年），中東鐵路通車營運，在巴林至牙克石間建10個火車站。此后，人口漸增，聚成村落。

1912年，嶺西歸呼倫貝爾地方自治政府轄，嶺東歸布西設治局轄。1920年，嶺西歸呼倫貝爾道尹公署轄，嶺東歸西布特哈總管公署轄。

1929年，嶺西歸呼倫貝爾市政籌備處轄，嶺東歸雅魯縣轄。

1931年，“九·一八”事變后，日本侵略軍占領東北，建滿洲國。東北劃19省，牙克石境內大興安嶺以西地區(qū)歸興安北分省轄，嶺東歸興安東分省轄。

1934年，嶺西歸興安北省索倫旗轄，嶺東歸興安東省布特哈旗轄。

1936年，索倫旗設牙克石街。

1945年10月，日本侵略軍投降后，牙克石街由索倫旗劃出，建街公署，直屬呼倫貝爾自治政府管轄。

1946年8月，建中國共產黨領導下的人民民主政權—牙克石街政府。

1947年5月，內蒙古自治聯(lián)合政府成立，嶺西歸呼倫貝樂盟政府，嶺東歸納文慕仁盟政府。

1949年4月，嶺東歸呼倫貝爾納文慕仁盟布特哈旗，嶺西歸索倫旗。

1949年10月1日，中華人民共和國成立。1950年1月，以牙克石街為基礎，劃出索倫旗所轄扎羅木得努圖克、免渡河努圖克，布特哈旗所轄博克圖努圖克，成立喜桂圖旗人民政府，隸屬呼倫貝爾納文慕仁盟。

1953年4月，喜桂圖旗隸屬內蒙古自治區(qū)東部區(qū)行政公署。

1954年4月，喜桂圖旗隸屬呼倫貝爾盟。

1955年1月，喜桂圖旗人民政府改稱旗人民委員會。

1958年10月，旗人民委員會與大興安嶺林業(yè)管理局合并，稱喜桂圖旗大興安嶺林區(qū)人民政府。1962年8月，復稱喜桂圖旗人民委員會。

1967年12月，成立喜桂圖旗革命委員會，隸屬呼倫貝爾盟革命委員會。

1969年8月，喜桂圖旗隨同呼倫貝盟劃入黑龍江省。

1979年7月，劃回內蒙古自治區(qū)。

1980年1月，撤喜桂圖旗革命委員會，建喜桂圖旗人民政府。1983年10月10日，經國務院批準，撤喜桂圖旗人民政府，建牙克石市人民政府，1984年1月1日，正式實行市建制。

2000年，全市總面積27540平方千米?？側丝?05403人，其中農業(yè)人口15750人，非農業(yè)人口386672人；少數民族人口40005人，其中蒙古族17588人，回族6622人，鄂倫春族130人，鄂溫克族425人，其他少數民族15260人。轄15個鎮(zhèn)、6個街道，即牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其汗鎮(zhèn)、原林鎮(zhèn)、庫都爾鎮(zhèn)、新帳房鎮(zhèn)、西尼氣鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)、勝利街道、紅旗街道、新工街道、永興街道、建設街道、暖泉街道。

2001年10月，國務院批準撤銷呼倫貝爾盟，設立地級呼倫貝爾市，牙克石市隸屬呼倫貝爾市。撤銷西尼氣鎮(zhèn)、新帳房鎮(zhèn)，并入圖里河鎮(zhèn)；撤銷原林鎮(zhèn)，并入庫都爾鎮(zhèn)。調整后，全市轄6個街道、12個鎮(zhèn)：勝利街道、紅旗街道、新工街道、永興街道、建設街道、暖泉街道、牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其漢鎮(zhèn)、庫都爾鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)。2001年末，全市總人口404524人，其中農業(yè)人口15441人，非農業(yè)人口386697人。

2006年，撤銷牧原鎮(zhèn)，將牧原鎮(zhèn)原管轄的行政區(qū)域288.8平方千米和免渡河鎮(zhèn)原管轄的行政區(qū)域33.8平方千米合并設立街道辦事處；撤銷烏奴耳鎮(zhèn)，將其原管轄的行政域整建制和原牧原鎮(zhèn)原管轄的行政區(qū)域并入免渡河鎮(zhèn)；撤銷塔爾氣鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入綽源鎮(zhèn)；撤銷伊圖里河鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入圖里河鎮(zhèn)；撤銷巴林鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入博克圖鎮(zhèn)；撤銷煤田鎮(zhèn)，將其原管轄的行政區(qū)域整建制和牧原鎮(zhèn)的1814.9平方千米并入烏爾其漢鎮(zhèn)。

2011年，恢復烏奴耳鎮(zhèn)、塔爾氣鎮(zhèn)、伊圖里河鎮(zhèn)。

2016年4月，撤銷東興街道辦事處設置牧原鎮(zhèn)。2017年撤銷巴林便民服務中心、煤田便民服務中心。調整后，全市轄6個街道、10個鎮(zhèn)：勝利街道辦事處、紅旗街道辦事處、新工街道辦事處、永興街道辦事處、建設街道辦事處、暖泉街道辦事處、牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、綽河源鎮(zhèn)、塔爾氣鎮(zhèn)、烏爾其漢鎮(zhèn)、庫都爾鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)。

“牙克石”名稱的由來

1983年10月10日，國務院批準，撤銷喜桂圖旗，設立牙克石市（縣級），以喜桂圖旗的行政區(qū)域為牙克石市的行政區(qū)域。

“牙克石”的名稱是由滿語“雅克薩”音轉而來。

清代，今牙克石市所在地的名稱叫“扎敦畢拉雅克薩”?！爱吚睘闈M語，“河”之意?！霸禺吚奔础霸睾印?。“雅克薩”為滿語，意為“涮坍的河灣”?！霸禺吚趴怂_”意為“扎敦河被涮坍了的灣子”。

這個地名如何而得呢？

牙克石位于免渡河與海拉爾河匯合處的南部。清代，免渡河與今之扎敦河被統(tǒng)稱為“扎敦河”，并無免渡河之名稱。據光緒二十五年（1899年）出版的《黑龍江輿地圖》標明，扎敦河流至今牙克石北部時，出現了一個很大的河灣洲渚，然后又北流注入海拉爾河?！霸禺吚趴怂_”當是以此河灣而得名。

1732年，清政府為加強對呼倫貝爾地區(qū)的防守，從齊齊哈爾至呼倫貝爾城（今海拉爾）設了10個驛站。其中—個便設在此地，稱“扎敦畢拉雅克薩站”。1901年，修筑東清鐵路取站名時，俄國人便將“雅克薩”訛傳音轉成了“牙克什”（后又將“牙克什”變?yōu)椤把揽耸保?，并以此稱定為站名。

后來，隨著人口增多和經濟的發(fā)展，“牙克石”這個火車站名逐漸變成城鎮(zhèn)的地理名稱而沿用至今。