Dans les temps anciens où le papier était exclusivement fabriqué à base de chiffes (chiffon, textile), le chiffonnier était celui qui ramassait les vieux chiffons pour les vendre aux papetiers.
La langue française a retenu l'expression « se disputer », « se battre comme des chiffonniers », d'une manière âpre et bruyante tant le gain qui pouvait découler d'une bonne prise de chiffons déterminait la survie de chacun.