由于元朝统治者实行“四等人制”，“色目人”兼容了各种文化基因，被元政府任用为社会的管理阶层，如负责征收税赋、管理城市之类。朱元璋执政时，要求色目人必须与其他民族通婚。
在法律文书上规定：“色目人氏，既居中国，许与中国人家结婚姻，不许与本类自相嫁娶。”而且，朱元璋还“引进”了伊斯兰教，循序渐进地来替代回族之前的信仰“明教”即波斯摩尼教，并修建了南京净觉寺，以供回族人士进行宗教活动。
在朱元璋的推动下，“色目人”进一步与汉民族融合，吸收了汉族的文化传统，使其更加发展壮大。这一推动民族融合的政策，反映了特定时代的政治需求。但是明朝的皇帝并非都有朱元璋这样的视野与胸怀，能够真正地认识到一个民族的兴起并对其予以宽容。
色目人（「各色名目之人」）是元代时对来自中西亚、西亚洲、和欧洲的各民族的统称，也是元代人民的四种位阶之一，广义上的来讲，一切除蒙古、汉人、南人以外的西北民族都算是色目人。
包括被蒙古人征服并带入大蒙古国的突厥人、粟特人、吐蕃人、党项人、契丹人、波斯人（花拉子模人）、阿拉伯人、犹太人、基督徒以及斯拉夫人等。其中中亚突厥人最高（人口最多），波斯人次之。
色目人后来经历蒙古人，畏兀儿与汉人大规模混血形成回族、撒拉族等少数民族的最早来源，并成为后来的回族。按照元朝的种群分类，在元代的社会阶层之中，色目人的地位在蒙古人之下，汉人和南人之上。元太祖成吉思汗西征时，色目人赛典赤·赡思丁率领千骑迎降，太祖以「赛典赤」称呼。元代重用色目人，入居汉地关中的色目人，多高官厚禄，钜贾大贾。
元朝政府虽没有组织过任何形式的民族成份辨别活动，但却将不同时间所征服的地域人群笼统划分为四个群体：蒙古人、色目人、汉人和南人。所以“色目”一词有时指西域人，有时也指蒙古人。日本学者旁公田善之认为在元代户籍制度上并没有蒙古、色目、汉人、南人四个并列的分类方式。
“四等人制”，是元朝统治者为维护对汉族和其他少数民族的统治，实行民族歧视政策，所建立的制度，蒙古人作为统治民族列为第一等级。其次根据所征服地区民族的时序，又依次分为色目人、汉人、南人三个等级。并认为四等人的政治待遇有所区别，在任职、科举、刑律等方面，均有不同的待遇。
“四等人制”一词最早是由民国学者屠寄在《蒙兀儿史记》中提出的，屠寄曾是清朝官员为清朝写史。虽然学术界迄今并没有发现元代实行过四等人制的法令，但这种划分却反映在一些政策和规定中。汉人和南人如当兵则不许充宿卫，如当官也往往只能做副贰。仅有如吕文焕、史天泽、贺惟一等个别汉人高官。
从元朝的一些政令和律令看，蒙古人在法律上享有特权，而汉人和南人在法律上、科举上其实根本没有区别，汉人可能在选任、提拔某些地方官员时，获得信任相对较多，会比南人有一些微弱的优势。