L’usure physique des hommes, femmes et enfants des mines est souvent remarquée par les voyageurs, tel Jean-François Brousmiche en 1829 : « ceux des habitants de ces communes qui travaillent dans les mines ont le teint plombé, sont pâles et livides ; on les distingue facilement du reste de la population qui paraît généralement plus robuste. […] Les enfants semblent tous misérables ».
Les conditions de travail sont responsables de la santé très dégradée des ouvriers et ouvrières et de cette usure physique. Les mineurs travaillent 12 heures par jour à 300 mètres de profondeur, dans un milieu oppressant, très humide et surtout très propice aux accidents, par éboulement, inondations ou explosion de poudre. À la sortie, le minerai est trié par des enfants, puis concassé et lavé par des femmes. Elles passent leur journée au contact d’une eau boueuse et rendue sulfureuse par le lavage du minerai. Celle-ci devient glaciale en hiver, jusqu’à littéralement prendre les ateliers dans la glace. Par ailleurs, aux tables de cassage, les ouvrières inhalent en permanence de la poudre de roche, provoquant de nombreux cas de silicose. Enfin, les corps s’usent à charrier des monceaux de minerai quotidiennement, 8 heures durant en hiver, et 16 en été… De fait, et contrairement aux mines, il n’y a pas d’accidents mortels aux laveries, où c’est avant tout l’usure qui tue.
Les conditions de travail aux fonderies sont également dures. Les fourneaux tournant en continu pendant des semaines, les fondeurs ne disposent pas de repos dominical : ils travaillent pendant 12 heures d’affilée, puis se reposent 24 heures. Les fourneaux peuvent atteindre les 900 °C et dégager des gaz toxiques provoquant souvent le « mal des fondeurs ». Il s’agit en fait de saturnisme, une intoxication aiguë ou chronique par le plomb. Elle se caractérise par des anémies, des troubles digestifs (on parle de « coliques de plomb »), puis des troubles nerveux, stérilité, cancers, encéphalopathie et paralysie jusqu’à la mort. En 1827, l’élève ingénieur Boudousquié observe aussi les symptômes du mal au sein de la faune : « les animaux qui viennent paître sur les coteaux contractent des mouvements convulsifs ; les chevaux, dit-on, y deviennent poussifs ». La Compagnie, quant à elle, ne semble pas s’en inquiéter et affirme dans un article de presse que les 75 tonnes de plomb qui partent annuellement en fumée ne font pas d’autres victimes « que quelques corbeaux imprudents qui s’approchent trop près des cheminées ».
