Sync of large files

Hi! (and sorry for my English) Can anyone do something with Syncthing to make it able to sync a laaaaaarge files? I have a folder with files 100-200 Gb each. So, the 200Gb file can’t sync. Local network between the computers with syncthing are 100 mbps. The syncthing.exe on both sides eat more than 2 Gb of RAM and about 25% of CPU, it transfering something second week already but file is still not transfered yet. Sometimes, syncing is just stop and Syncthings can’t connect to each other unless I restart one of them. Then syncing is continuing (about 4-5 Mb/s) untill the next stop. And no result - file is still not copied. I hope, that description of the problem was undestandable :slight_smile: Is it possible to make it eat not so much of RAM with large files and to not stop the transfer process?

It should handle 200gb just fine in 0.13.

I use v0.13.2, Windows (64 bit)

If you click on out of sync items in the web ui, you will see progress of the download.

2GB of RAM for 200GB file is probably expected.

by the way - there is no progress bar :frowning: https://yadi.sk/i/lHQyGfBBrzfef

Сам с такой проблемой столкнулся ничем не смогли помочь,у меня компы атом 1,8 герц 4 гига оперативки, только у меня дня 2-3 синхронизировалось около 200 гигов, вывод простой ковыряй роутер, проверяй порты в файрволе если стоит может что то изменится

Печаль. После перезапуска ведь компы друг друга видят до следующих тупняков, значит не в файрволле дело :frowning: Буду надеяться, что исправят.

Sorry for russian text :slight_smile:

Странно у меня компы несколько минут тупят но дальше сами продолжают синхронизацию, не забывай что syncthing жрет много ресурсов машины и нету ничего удивительного что на слабенькой твоей машине такие фокусы, у меня при синхронизации загруженность процессора не опускается ниже 95% и так же не забывай что он работает по P2P, а значит чем больше компов натравлено на один комп тем выше скорость загрузки

По мне так если с синхронизацией крупных файлов есть проблема - жрётся больше оперативки, значит есть проблема оптимизации алгоритмов синхронизации. Не обязательно же в оперативке держать хэши всех частей файла. Порубить его виртуально на, скажем, куски по 1 гигу и их по очереди синкать.

он так и делает вроде почитай документацию разбивает файлы на куски и прет, тут есть много но еще: например раздающий разбивает файл на блоки,шифрует блоки, а принимающий файл декодирует эти шифрованные блоки, жрутся ресурсы, реле еще толковое надо отыскать, у меня такая же хрень качаю с уторента скорость выдает около 10-11 мегабит, раздаю на свои компы через уторент тоже около 10-11 мегабит, синхронизирую файлы через syncthing скорость не поднимается выше 2 мегабит и компы чутли не дымятся от работы хз что такое, в этом и есть весь подъеб бесплатного софта:)

That’s strange.

I suggest you run syncthing with envvar STTRACE=model and provide log output.

What type of hardware are you using to handle these 200GB files?

I want to know whether you can disable the encryption? perhaps for this reason that I have the speed does not rise above 2 Megabits when large files are synchronized?

Just ordinary HDD drive. These files, in fact, is crypted mountable volumes for TrueCrypt. I’ll try this option (STTRACE), thank you!

I am talking in terms of CPU, not necessarily storage.

You can’t, out of the box.

You can patch go and syncthing and make a custom version if you wish.

Patches here:

You must be on a very shitty CPU to achieve only 2Mb. On a normal computer you should be able to get 20Mb+ easy.

Other source of slowness could be the database, sadly there is no way to fix that yet, but it should be solved once we move to variable block sizes (someday TM).

My CPU is AMD Athlon II X3 425

That’s fairly old (if I am not mistaken), though should still be able to cope with it.

When syncthing starts, what hashing performance does it report?

Big thank you very much i am trying, yes like computers and are not so weak to try atom 1,8 Hz, AMD Athlon II X2 240, mac air 11 inches everywhere produces no more than 2 megabits, I even tried it without the router directly to the wire in network card is still the same no more than 2 megabits per CPU utilization in all the admin does not fall below 95%

about 130 Mb/s

Did you verify that syncthing is not connecting via a relay?

If it’s slow, it should be constrained by something (cpu/memory/disk io), check what’s maxed out.