De hardheid van water wordt uitgedrukt in Duitse hardheid of dh (oftewel °D). De dh van het water wordt bepaald door de in het water aanwezige calcium- en magnesiumionen. De waterontharder verwijdert of verlaagt de concentratie calcium- en magnesiumionen in het water, waardoor de dh verdwijnt of lager wordt en het water zacht of minder hard is. De meest gangbare modellen waterontharders gebruiken een stof, zoals ionenwisselaarhars, die de ionen chemisch aan zich bindt door deze te vervangen door een andere stof zoals natrium. Het water dat uit de waterontharder stroomt, is hierdoor zachter dan het water dat erin ging.
Na verloop van tijd raken de harsbolletjes verzadigd en moet de waterontharder gereinigd worden met spoelwater en zout. Bij moderne waterontharders verloopt dit proces - genaamd 'regenereren' - automatisch. Tijdens het regenereren vloeien zowel het spoelwater als het zout terug naar het riool, zonder in contact te komen met de leiding die in verbinding staat met de kraan.