元朝将百姓分为四种人：蒙古人、色目人、汉人和南人。色目人是元代对西域人的统称，色目即“各色名目”，意指种类繁多。色目人有多少种？说法不一。元人陶宗仪在《南村辍耕录》中列举了三十一种，清人钱大昕在《元史氏族表》里则列了二十三种。常见于记载的色目人，有唐兀、汪古、回回、畏兀儿、康里、钦察、阿速、哈剌鲁、吐蕃等。在色目人中，又以回回人居多，因而有时也用回回人代称色目人。色目人主要分为黄种人来源和白种雅利安人。
色目人的黄色人种较少，主要有唐兀即党项人、吐蕃人、汪古人，乃蛮人、畏兀儿人属于黄白混血种，色目人大多是白种人和黄白种人。 色目人三十一种 “民族四等级制”是元代社会制度的特征，元朝把治下人民分为四等，并据其所处等级在为官、科考、刑罚、赋役等方面都有相应的规定，这主要也反映了作为统治者的蒙古人对占人口大多数的汉人和南人的防备。这四个等级的顺序，基本上就是蒙古人征服世界的次序。成吉思汗黄金家族首先征服了蒙古诸部，统一漠北草原，建立大蒙古国。蒙古人指的是成吉思汗统一蒙古高原时集合的人群及其后代。然后通过三次西征，征服西域各民族，中亚和西域的归附者大量进入蒙古本土和汉族居住区，受到元朝的重视与使用，被列为全国四等人中的第二等，社会地位仅次于蒙古人。
汉人是指原金朝境内的汉族和契丹、女真等族，以及云南人、四川人、高丽人，人口有五千万。最晚被征服的是南宋，南宋人即南人，是居于江浙、湖广及河南南部的各族，人口有六千万，地位最低。 蒙古人比较信任色目人还有另一个原因，他们或许认为与色目人在人种上有较远的相似性。中亚和西域人大多是突厥人种，他们所居的西域又被称作突厥斯坦。而蒙古人起初并不是一个独立的人种，他们与突厥人一样，都属于北亚亚种。在蒙古崛起之前，匈奴人、鲜卑人、突厥人、回鹘人被汉族或其他民族灭亡后，他们逃亡的路线都一致朝西，在西域圈划领地，重新建立民族国家。
西迁的匈奴人一部分成为今匈牙利人的祖先，定居于高昌的回鹘人称“高昌回鹘”，是今维吾尔人的祖先。东西突厥分裂后，西突厥迁王廷于今中亚的塔什干，是现代土耳其人的祖先，而他们留在蒙古高原上的人，又在那里创立新的民族。 色目官员在元朝各级政府中占有一定比例，他们可以担任汉族官员不能担任的职务。如蒙古人不够时，他们可以担任地方政府的达鲁花赤，汉人只能做到总管。
1265年忽必烈规定，各路达鲁花赤必须由蒙古人或个别出身高贵的即“有根脚的”色目人担任，汉人、南人一律不能出任此职。 元朝虽然是第一个由少数民族建立的大一统王朝，但在人口数量上远远少于汉人和南人，并且在文化发展的程度上，也远不及汉民族，因此从蒙古高原和西域进入中原汉地的蒙古人、色目人，必然要面临汉化和儒化的问题。对非汉人族群的汉化，元廷政策并不压制，忽必烈经略漠南汉地时，采取的方法就是以汉法治汉地，“为治之道宜各从本俗”，这也是出于实用的目的。
1315年，仁宗朝恢复科举，采取的方法是分榜取士，蒙古人和色目人一榜，汉人和南人一榜。会试时，人口较少的蒙古人和色目人与汉人、南人一样，各取二十五名，一直到元朝灭亡，历次会试大都是这个录取比例。这看似是一个不平等和歧视汉族人的政策，却是一个非常重要的政策导向。如果不给予蒙古人、色目人政策上的扶持，他们在考场上必处弱势，这是人所共知的，那么仁宗朝能否恢复科考就是个疑问，即便恢复科考，也会像权相伯颜一样，执意废除科举。
在汉化的色目人和蒙古人中，儒化程度较深的，逐渐成为士人，在与汉人的交往中，形成了一个超越族群的多族士人圈。在元中后期，出现了一批汉语言文学造诣颇深的色目文人，如回回诗人萨都剌、丁鹤年，汉诗已经达到同代汉族诗人的水平。畏兀儿人贯云石，他的祖父是平灭南宋的主将阿里海牙，而他自己，已是著名的元曲作家了。
