Nachdem ich die ganze Zeit meinen Laptop im Dock betrieben habe, habe ich mir jetzt doch wieder eine Workstation zugelegt. Damit kommt nur wieder der Schmerz, unterschiedliche Versionen meiner Daten auf den Systemen zu haben.

Was will ich mir denn für Lösungen anschauen, um meine Home-Verzeichnisse (minus eine Blacklist) verschlüsselt über das Netzwerk synchron zu halten? Integrierte Backup-Funktionalität wäre ein willkommener Bonus.

@aslmx @AndiS Ich glaube, ich fuchse mich mal in syncthing rein, das sieht aus, als könnte es passen. Falls noch jemand ein anderes Tool kennt, nur her damit, aber auf jeden Fall schon mal danke an @njumaen für den Tipp! 😃

@mart_w @AndiS @njumaen viel Erfolg! Bitte um Feedback. Hatte das mal auf meinem alten Synology NAS und einem Android Client. Zu sagen es lief "suboptimal", wäre noch übertrieben... daher nicht weiter verfolgt...

@aslmx @AndiS @njumaen Danke! Mal sehen, wann ich dazu komme, da mal was zurechtzubasteln. Ich berichte dann von meinem Erfolgs- oder Leidensweg. :)

@aslmx @AndiS @njumaen Erster Zwischenbericht: Ich habe syncthing jetzt auf drei Geräten laufen (Workstation, Laptop und NAS) und bisher scheint es ganz gut zu laufen. Abgesehen davon, dass es anfangs ein wenig unsauber lief, weil es die beiden fast identischen Homeverzeichnisse über das Netzwerk synchronisiert hat, ohne sie bereits vollständig indiziert zu haben, scheint es bisher ganz gut zu funktionieren. Gerade laufen die Daten auf das NAS.

@aslmx @AndiS @njumaen Mir gefällt, dass das Ganze dezentral abläuft – die Daten müssen nicht erst auf das NAS gespiegelt werden, um dann an andere Geräte weitergegeben zu werden. Die einzelnen Knoten im syncthing-Cluster machen das jeweils unter sich aus, sodass meine zwei Nutzgeräte jetzt schon synchron sind, obwohl dem NAS noch über 60 GiB an Daten fehlen. :)

@aslmx @AndiS @njumaen Merke, wenn man Home-Verzeichnisse synchronisiert: Prüfe genau, ob .stignore stimmt. ~/.cache ist ein ganz blöder Ordner zum Synchronisieren.

@aslmx @AndiS @njumaen Beobachtung: Aktuelles Bottleneck ist die CPU meines Synology DS216SE, die gerade gut zu tun hat. Kein Ahnung, was da bei Syncthing neben dem eigentlichen Datentransfer für Prozesse ablaufen. Bleibt abzuwarten, ob sich das einpendelt, sobald das NAS einmal synchron mit den anderen Geräten ist.

Erstes Fazit nach rund eineinhalb Wochen Syncthing für größere Datenmengen: Ich habe das auf meinem NAS (Synology DS216SE), meiner Workstation, meinem Laptop und meinem Smartphone laufen. Dabei werden die Home-Verzeichnisse meiner beiden Rechner synchronisiert und die Bilder auf meinem Smartphone mit einem Ordner in genanntem Homeverzeichnis. Das NAS synchronisiert ebenfalls beides. Das Home-Verzeichnis hat rund 100 GiB, das Bilderverzeichnis 2 GiB.

(1/?) @aslmx @AndiS @njumaen

Als ich den Kram das erste Mal aufgesetzt und die erste Synchronisierung gestartet habe, kamen recht schnell Zweifel an meinem Vorhaben auf, denn die Übertragungsraten bewegten sich teilweise im Kilobitbereich. Entsprechend hat die erste Synchronisierung mit dem NAS auch etliche Stunden gebraucht. Wie ich später lernen durfte, hängt das mit dem relativ großen CPU-Overhead zusammen, den Syncthing durch das Hashing aller getrackten Daten hat.

(2/?) @aslmx @AndiS @njumaen

Es war also die CPU des NAS, die den Flaschenhals dargestellt hat. Dies hat sich jedoch deutlich gebessert, als die Dateien einmal synchronisiert waren: Dadurch, dass die Verzeichnisse in Echtzeit abgeglichen werden und man sich nicht auf regelmäßige Batchjobs zur Synchronisierung verlassen muss, verteilt sich die Last sehr gut und es gibt kaum noch Probleme. Dennoch würde ich ein normales NAS eventuell nicht empfehlen, wenn öfters stoßweise viele Daten anstehen.

(3/?) @aslmx @AndiS @njumaen

Auf meinen beiden Rechnern habe ich indes fast die Netzwerkkapazität ausgeschöpft. Sind also die Rechenkapazitäten nicht stark begrenzt, scheint Syncthing auch für solche Datenmengen gut zu skalieren. Es hilft auch, dass das System dezentral ist: Müssen kurzfristig große Datenmengen synchronisiert werden, können die leistungsstärkeren Rechner das schnell untereinander regeln, während das NAS mit der Zeit langsam nachzieht.

(4/?) @aslmx @AndiS @njumaen

Wenn man so fundamentale Verzeichnisse wie ein Home-Verzeichnis synchronisiert, sollte man definitiv Gebrauch von der Blacklist machen. Einerseits würden Ordner wie .cache einen sonst in den Wahnsinn treiben, andererseits sind eventuell ebenfalls mit Syncthing synchronisierte andere Verzeichnisse damit fast zwangsläufig Teil des Haupt-Synchronisierungsjobs. Dafür ist Syncthing ausdrücklich nicht ausgelegt.

(5/?) @aslmx @AndiS @njumaen

Follow

Zuletzt: Syncthing macht regelmäßig kurze Abfragen in seiner Datenbank, was verhindern kann, dass ein NAS in den Ruhezustand geht und die Festplatte herunterfährt. Es kann also sinnvoll sein, diese Datenbank auf einen Flash-Speicher auszulagern.

Alles in allem würde ich das Experiment aber als geglückt bezeichnen. :-)

(6/6) @aslmx @AndiS @njumaen

Sign in to participate in the conversation
chaos.social

chaos.social - because anarchy is much more fun with friends.
chaos.social is a small Mastodon instance for and by the Chaos community surrounding the Chaos Computer Club. We provide a small community space - Be excellent to each other, and have a look at what that means around here.
Follow @ordnung for low-traffic instance-related updates.
The primary instance languages are German and English.