Mazıdağı ilçesinin tarihi özel olarak araştırılmamış ancak yakın çevresindeki büyük yerleşim yerlerinin tarihinden elde edilen bilgiler ışığında açıklanabilmektedir. Buna göre ilçe merkezinin bir yerleşim yeri olması Bizanslılara kadar uzanmaktadır. İlçenin eski adı" Şamrah " olup yerleşim yerinin Şam yolu üzerinde olması nedeni ile bu ismi almıştır. İlçenin 3 Km güneybatısındaki sarp bir tepenin üzerinde kalıntılarına rastlanan Safran Kalesi ve kalenin çevresindeki harabelerden anlaşıldığına göre, Bizanslılar döneminde Diyarbakır'ı Şam'a bağlayan yol üzerinde kurulmuş olan bu yerleşim yerinin halkı Süryani dinine mensup idi. V. ve VI. yüzyılda Sasaniler ile Bizanslılar arasındaki savaşlarda Mardin ile birlikte bu iki kavim arasında bir kaç kez el değiştirmiş olan Şamrah VII. yüzyılda Arapların eline geçmiştir.
Yavuz Sultan Selim 1514'de Şah İsmail'e karşı kazandığı Çaldıran savaşından kısa bir süre sonra D.Bakır ve Mardin illerini ele geçirerek bu yerleşim yerlerini de Osmanlı Devletine katmış oluyordu.

Ayrıca şu anda harabe durumunda bulunan Derametinan kalesinin çok eski bir yapı olduğu, Timurlenk tarafından Mardin ve Diyarbakır'ın alınışı sırasında bölgeye yaptığı keşifte ve kendisine geçit vermeyen Derametinan kalesinin fethini istemişti. Kale 150 Metre yüksekliğinde bir tepenin üzerinde kartal yuvası gibi kurulmuş güneyden kuzeye doğru uzanan vadiye ve kervan yoluna hakim durumda idi. Timur'un orduları kaleyi ancak 20 günde zaptederek geçit sağlayabilmişlerdir. Kalede 150 kişilik bir kuvvet bulunmakta ve saldırılara karşı koyabilecek bir tarzda inşaa edilmiştir. Bir Bizans eseri olan bu kale günümüzde bir harabe durumunda bulunmaktadır.

İlçede çeşitli aile guruplarının yaşamış oldukları bilinmektedir. Bunlar Gançoyi, Yakupli, Bileçki ve Hani ile Kulptan gelenler ile birlikte dört ayrı aile gurubu olarak günümüz kadar bu sosyal yapıyı sürdüregelmislerdir.

Mazıdağı ilçesi daha önce Savur ilçesine ,ardından da Derik ilçesine bağlı bir nahiye iken 9 Haziran 1937 yılında ilçe statüsüne getirtilmiştir. İlçe "Şamrah" ismini Diyarbakır dan Şam'a giden kervan yolu üzerinde oluşu nedeni ile almıştır. " Şamrah " Kelimesi Şam'a giden yol anlamındadır. Mazıdağı ismi ise , etrafının dağlarla çevrili olması ve bu dağların mazı ağaçları ile kaplı oluşundan almıştır.

Mazıdağı ilçesinin gelişin süreci içinde, 1934 yılında cami, geçici olarak ilkokula tahsis edilmiş ,1959'da Cumhuriyet İlkokulu , 1964 yılında Atatürk ilkokulu, 1967 yılında Ortaokul, 1970 yılında Temel Eğitim Yatılı Bölge Okulu ve 1976 yılında da Lise' ye kavuşmuştur.