Fritz wurde geboren am 18. März 1876. Fritz's Vater war Jakob Ruffing und seine Mutter war Maria Sutter. Seine Großeltern väterlicherseits waren Jakob Johann Ruffing und Maria Eisel. Er hatte zwei Brüder und eine Schwester, mit Namen Jakob, Ludwig und Maria. Er war der Jüngste von den vier Kinder.