В 12-13 веках прошлого тысячелетия она являлась небольшим фортом, защищающим Брюссель от противников с юга. Каменных башен тогда еще не существовало. На небольшом клочке земли были возведены стены из бревен, а вокруг них выкопан ров. Внутри укрепления нашли свое место несколько деревянных домиков и сараев, отданные под размещение гарнизона.
Несколько позже, а именно в конце 15 века, крепость была разрушена брюссельцами во время восстания земель Брабанта против правления императора Максимилиана Австрийского. Доподлинно не известно, насколько серьезно пострадало сооружение в ходе боевых действий, было ли оно разрушено полностью или частично, но в 1491 году началось его восстановление, которое продолжалось до 1508 года. В этот период крепость обзаводится часовней и тремя массивными кирпичными башнями. В одной из них устроили приемный зал, в другой склад с оружием и казематы, а на нескольких этажах третьей жилые помещения. Считается, что именно с этого момента строение приобретает свои нынешние вид и форму — эллипс из кирпичей, на одной дуге которого находятся три башни на некотором отдалении друг от друга.

В 847 Берсель впервые упоминается в источниках.
В 1е десятилетие 14 в. Годфри фон Хеллебек, сенешалем Брабанта, строит нынешний замок.
В 1356-57 замок был сильно поврежден в войне за Брабантское наследство Людовиком Фландрским.
Во 2й половине 14 в. в результате брака замок отходит Яну II фон Виттем.
В 1391 Ян фон Виттем, к тому времени сенешаль герцогини Брабанта Иоанны и ее мужа Венцеслава, герцога Брабанта, Люксембурга и Лимбурга, получает права на управление Брюсселем и всеми его окрестностями.
В 1405 после смерти Яну II замок отходит его младшему сыну Генриху.
В 1404 Генриху I наследует Генирих II.
В 1456 Генириху II наследует Генирих III.
В 1489 во время восстания Брабанта против императора Максимилиана, Генрих III поддерживает императора. Замок, который оборонял сын Генриха Филипп, был дважды осажден и со второй попытки взят и разграблен брюссельцами. Филипп к этому времени покинул замок. Командовавший обороной бургундец Гийом де Рамилли казнен на главной площади Брюсселя.
В 1491 замок восстанавливают. Строятся современные башни.
В 1517 умирает Генрих III, ему наследует сын Филипп.
В 1523 умирает Филипп.
С 1544 замок теряет значение.
