瑶族一般以父系血亲建构，五代左右为房族，十代左右为宗族，房族内严禁通婚。由于世代居山，大分散小聚居，三代为房的较为普遍，五代后便开始疏远了。

在瑶区，小则三五户，大则八九户构成一房，十户以上构成一房的不很多。每一房均设一香火牌位，有一位香火头，他同时也是房长。

担任房长的必须经过度戒。他的主要职责是每月初一、十五两日给香火牌位的列祖敬香火，每年农历春节、七月十四聚集房族成员杀生祭祖宗，盘王节敬盘王（盘瑶系统），达努节敬密洛陀（布努瑶系统）。房长不负责调解房内纠纷。房内兄弟姐妹互相帮助。绝嗣户的财产由房内各户平均分承。同一个姓氏并能找到最古的老祖的，便是同一宗族。宗族的概念便是同姓共祖，伸缩性很强，有的仅十来代，有的数十代。

同一宗族除较为接近的支系外，其他离得远的甚至还可以通婚。每一宗族都有一位族长，由德高望重、精通族史、为人正直的老者担任，他的职责是撰写族谱，主持宗族祭奠、调解纠纷、经营宗族共有田产以及族外交际事务等等。

族长无报酬。有的地区选族长不讲究年龄辈分，有德有才者上（如金秀花蓝瑶），破格上任者比比皆是。此外，族长还是宗族中最有“法力”的道士。