Être obligé de se passer de quelque chose que l'on désire.
Il va de soi que cette expression n'a rien à voir avec le fait de se passer un coup de brosse dans les cheveux, de se brosser les dents ou de faire reluire les chaussures.
En argot, « faire brosse », cité en 1808 par Dhautel, voulait dire « manquer » ou « faire défaut ».
Puis, en 1828, Vidocq cite « se brosser le ventre » pour dire « se passer de manger », expression utilisée en joignant le geste à la parole, la main frottant le ventre comme dans l'espoir de faire passer cette faim qui tenaillait.
Puis, par extension et au figuré, on ne s'est plus seulement passé de manger mais de tout ce à quoi on aspirait, et le ventre a progressivement disparu de l'expression.