ブラシ付き配線孔のブラシを取り外すことは、基本的にできません。

ブラシは蓋に固定されており、不意に外れないようになっています。

孔の内部を隠す、ほこりの侵入を防ぐといった機能が得られなくなるので、外さずに使用いただくことをお勧めします。