布依族很早就生活在南北盤(pán)江流域。布依族來(lái)源于古代百越人的駱越一支。據(jù)史書(shū)記載，春秋戰(zhàn)國(guó)時(shí)期，駱越人屬牂牁國(guó)的臣民，今桂西北和黔西南即古駱越地。布依族至今仍保存古駱越人的許多生活習(xí)俗和文化特征。今縣境南盤(pán)江河谷和平樂(lè)、北鄉(xiāng)、花障、魯溝、龍廣、木咱等地的布依族聚居區(qū)，仍沿襲古駱越人居住的‘干欄”式建筑，即今所稱(chēng)“吊腳樓”及其演變的“地樓”、“半邊樓”。布依族貴銅鼓，也是古駱越人的文化特征。布依語(yǔ)同駱越語(yǔ)相近，據(jù)宋人周去非《嶺外代答》載： 駱越人稱(chēng)母親為“米囊”(Me33na：TJ2)，布依語(yǔ)稱(chēng)母親為“乜”(Me33)；駱越人稱(chēng)岳母為(ti53)，布依語(yǔ)稱(chēng)為(ta:i53)。許多布依村寨或附近的山坡、田地名稱(chēng)，均以古駱越語(yǔ)的委、平、洛、壩、納、浪、板、巧、岜、冗、者、央、內(nèi)、打等語(yǔ)音為詞頭命名。
布依族的族稱(chēng)，秦以前稱(chēng)濮越，兩漢六朝稱(chēng)濮僚，唐宋元代被稱(chēng)為蠻、番；明清至民國(guó)末年被稱(chēng)為仲家。自《元史》首稱(chēng)“仲家”后，明清有的史籍稱(chēng)布依族為“仲苗”、“仲蠻”和“古仲”，民國(guó)年間，布依族還被稱(chēng)為“夷家”、“夷族”、“水家”、“水戶”、“土人”、“土邊”等。但布依族始終按照古老的族稱(chēng)自稱(chēng)為“濮越”(依)、“濮僚”(饒)(第一、二土語(yǔ)區(qū))和“濮俚”(夷)(第三土語(yǔ)區(qū))，這些自稱(chēng)保留有“族”“人”的意思，含有民族自尊。新中國(guó)建立后，黨和國(guó)家尊重民族意愿，在1953年冬召開(kāi)的布依族代表人士協(xié)商統(tǒng)一民族名稱(chēng)的會(huì)議上，取消了“仲家”、“水戶”、“夷家”、“土邊”等不是布依族自稱(chēng)的稱(chēng)謂，根據(jù)布依族自稱(chēng)的歷史，以“濮”與“布”、“越”“俚”與“依”讀音相近，統(tǒng)一用“布依”為本民族的族稱(chēng)，正本清源，恢復(fù)了布依族族稱(chēng)的本來(lái)面目。
在布依族形成過(guò)程中，各民族相互交往、融合，“你中有我，我中有你”歷史上形成民族遷徙與融合的原因，大多是由于戰(zhàn)爭(zhēng)、移民、貿(mào)易、避難等。據(jù)史志記載，自春秋戰(zhàn)國(guó)以來(lái)，縣境有十余次規(guī)模較大的移民，其中，北宋迄清末移民最多。明初“調(diào)北征南”、“調(diào)北填南”；清乾隆、嘉慶年間招民墾種，咸同之后開(kāi)通商路等，江南、湖廣及四川等地遷來(lái)居民不少。這些移民中，有一些與當(dāng)?shù)赝林ɑ椋蟪蔀椴家雷濉?
