Ryktet om att det finns skickliga ingenjörer och fabriksarbetare från England sprider sig runt om i världen, ända till Sverige. Charles har en god vän, Abraham Higson, som lämnat England några år tidigare för att börja arbeta vid Rydboholms konstväfveri utanför Borås. Det är Sveriges första mekaniska bomullsväveri.
Abraham Higson vill att Charles ska komma och arbeta vid Rydboholm. Charles tackar ja till en anställning och i juli 1843 flyttar han och familjen till Sverige. Han arbetar från sex på morgonen till sju på kvällen.