Så vidt man ved, har de første mennesker slået sig ned her på egnen for ca. 9000 år siden. De kom sydfra og rykkede nordpå i takt med, at isen smeltede bort og temperaturerne steg, så det var til at være her. De første år ved vi ikke meget om. Der er en del minder fra stenalderen, men mest øjensynlig var dog broncealderen med et stort antal broncealderhøje, hvoraf den nærmeste lå tæt opad kirken, men for længst er pløjet ned.

De første kirker i Danmark stammer fra omkring år 900 og var lavet af træ. Da Brørup gl. kirke blev restaureret i midten af 1900 tallet, fandt man tydelige spor af stolpehuller og enkelte planker, som blev kørt til Nationalmuseet i København, hvor de er gemt-og måske glemt ?

Der har stået mindst én trækirke på stedet, måske to, hvad flere spor kunne tyde på. Måske stod her allerede en kirke i slutningen af vikingetiden. Den anden eller tredje kirke var en stenkirke formodentligt fra 1200 tallet. Nogle af stenene i den nuværende kirke fra 1400 tallet stammer fra den og så i øvrigt også den øverste del af døbefonten. Selve foden kan ses ved indgangen vest for våbenhuset. Det sikre er, at kirken ikke hed Brørup kirke, men måske Bryddorp, som var stedsbetegnelsen til omkring begyndelsen af 1300 tallet.