Пополнение хранилища на внешнем диске - новая проблема!

Nick Brake
Что-то активности в разделе не очень заметно, но все же попробую задать вопрос - вдруг знаюшие люди заглядывают... 😊

Имеется внешний диск USB, который используется как резервное хранилище для семейных фото и видео.
Для этого примерно год назад на нем были созданы копии некоторых папок с файлами с основного компьютера.
Просто тупо копированием, без использования какого-либо специального софта для дублирования дисков или чего-то подобного. 😊

За год добавилось много новых файлов, и нужно пополнить резервную копию. Само собой, не нужно копировать то, что в ней уже есть, а только новые. Проблема в том, что за это время структура папок на исходном компьютере была изменена, да и файлы в них неоднократно перемещались из папки в папку, для удобства хранения и поиска. То есть, простое сравнение папок а-ля Norton Commander не поможет.

Кто может подсказать решение (подходящую программу, или хотя бы алгоритм действий), которое позволит перенести на внешний диск новую структуру папок, и скопировать туда все новые файлы, избежав появление дубликатов файлов или переписывания поверх старых?

Куш-тэнгри
Самое простое по действиям решение - тупо скопировать новую конфигурацию целиком и полностью. Не мудрствуя лукаво. Старую потом удалить. (возможно, вначале разделить на папки типа Старая/Новая). По усилиям - простейшее, по времени - среднее.
Все остальное начинается потом 😛 Как вариант: нет места для того и другого одновременно 😛 Решений уже несколько...
Ну и во-первых: прежде чем копировать информацию с компьютера, проверьте его на целостность этой информации: чекдиск, потерянные файлы, доступность файлов, читаемость... и только потом делать копию!
Если еще серьёзнее - если уж для серьезного бэкапа используется всего лишь USB диск, то какая разница сколько времени и усилий будет потрачено. Пока основной компьютер работает - информация на нем есть, значит тупо можно удалить все с USB диска и залить все заново с основного компьютера. Иначе, если бороться за сохранность - надо иметь как минимум две копии: делать одну на DVD-ROM, другая пусть будет на USB. Либо иметь свой NAS с рейдом и USB диск останется местом для второй копии.
Nick Brake
Куш-тэнгри
Самое простое по действиям решение - тупо скопировать новую конфигурацию целиком и полностью. Не мудрствуя лукаво. Старую потом удалить.
Да, я такой вариант рассматривал. 😊
Не подходит "старую потом удалить".
Потому что там могут быть (а точнее - обязательно будут, прецеденты уже были) файлы, которые на рабочем компе за прошедшее время по разным причинам были потеряны (удалены), поэтому их копии обязательно нужно сохранить.
Нужно будет чем-то проводить анализ и сравнение, чтобы выявить такие файлы, и, например, потом перенести их в новые папки.
То есть, это те же яйца, только вид сбоку. 😊
Ланцепок
Nick Brake
Нужно будет чем-то проводить анализ и сравнение
Dup Detector, AntiDupl.NET и иже с ними.
Skunk
Если я правильно понял задачу - то официальная утилита от Microsoft "robocopy" с ключом "/mir": поддерживает полное зеркало источника, на приемнике добавляя, удаляя, перезаписывая только то, что требуется.
Работает из командной строки - но там все просто и понятно.
Nick Brake
Skunk
официальная утилита от Microsoft "robocopy"
Спасибо, это интересно. Почитаю.
Nick Brake
Ланцепок
Dup Detector, AntiDupl.NET и иже с ними.
Спасибо! Я когда-то экспериментировал с подобными утилитами (DupKiller, AllDup). Но что-то не пошло...
Нужно будет возобновить. 😊
Куш-тэнгри
Nick Brake
Не подходит "старую потом удалить".
Тогда немного проще: копируете целиком новый пакет данных, и после этого пробуете использовать кучу программ по "поиску дубликатов". Удалить дубликаты гораздо легче (даже чисто эмоционально) чем не удалять остальные 😛
Nick Brake
Всем спасибо, с дубликатами понятно. 😊

Теперь возникла новая проблема.
Оба диска - внешние, то есть подключены по USB.
И скорость копирования файлов при таком варианте получается охрененно медленная! По индикатору копирования - примерно 1 Мб в секунду! 😞
Конструктив мини-ПК серии Lenovo ThinkCentre не позволяет иметь в одном корпусе несколько жестких дисков одновременно.
И другого компа, куда можно было бы на время копирования поставить эти диски в качестве внутренних, под руками нет.

Нужны какие-то кардинальные решения (простой заменой порта USB2 на USB3 тут проблему не решить).
Может быть, есть способ все-таки подключить несколько ноутбучных дисков к одному компьютеру, хотя бы временно (при открытом корпусе)?

Ланцепок
Nick Brake
Может быть, есть способ все-таки подключить несколько ноутбучных дисков к одному компьютеру, хотя бы временно (при открытом корпусе)?

Два любых адаптера mSATA to SATA, два стандартных сигнальных кабеля SATA, один разветвитель питания SATA и любой комп с двумя свободными SATA разъемами.
Комп нормальный придётся поискать у друзей и знакомых, так как вряд ли в этом недоразумении от Леново найдётся два свободных разъема SATA.

Nick Brake
Ланцепок
Комп нормальный придётся поискать у друзей и знакомых,
К сожалению, этот вариант не проходит... 😞
Ланцепок
А к этому мини-пк вообще никакое решение, кроме воткнуть в USB и оставить пыхтеть на N суток не подойдёт: у него никаких возможностей для добавления других устройств не предусмотрено, ни разъемов SATA, ни слотов PCI-E. 😞
Nick Brake
Сейчас специально проверил: при копировании с внутреннего диска на USB (и наоборот) - скорость примерно в 100 раз выше.
Буду думать, как это использовать: копировать в два приема, через внутренний диск, либо - временно подключить один из дисков как внутренний (системный).
Куш-тэнгри
Нынче по сети залить быстрее чем на USB! Залейте на файлохранилище (Гугл, Микрософт) или таки сделайте свой NAS 😛
Nick Brake
Куш-тэнгри
Нынче по сети залить быстрее чем на USB!
А какая реально будет скорость при копировании файлов?
Nick Brake
Куш-тэнгри
Залейте на файлохранилище (Гугл, Микрософт)
За те объемы, которые у меня имеются, придется ежемесячно платить. Это не вариант для пенсионеров. 😛

Куш-тэнгри
или таки сделайте свой NAS
Мне уже предлагали, но я подзабыл подробности. Во что мне это обойдется и что придется прикупить (не считая самих дисков, они у меня есть)? Али не предлагать. 😛
Egolf
Куш-тэнгри
Нынче по сети залить быстрее чем на USB! Залейте на файлохранилище (Гугл, Микрософт)
Напомню, что внешние файлохранилища, облачные сервисы и т.п. это просто чужой компьютер, который его владелец может в любой момент выключить.
Любые ваши данные, загруженные на такой сервис, будут принадлежать владельцу сервиса, а не вам. Он вам ничем не обязан. Даже за деньги. Если что-то пропадёт или наоборот ваши фотки мамкины хакеры умыкнут - это полностью ваши проблемы. Без гарантий.

Локальный личный NAS нужен в случае если у вас есть нужда в постоянном доступе к данным из разных устройств вашей домашней сети.
Например, смотреть их на ТВ, на компьютере и телефоне.
Модели советовать не буду, их всяких сейчас есть. Но нужны только те в которых минимум 2 диска, для использования их в режиме зеркального raid.

В базовом варианте для копирования данных на ваш внешний диск вполне подойдёт обычная виндовая утилита xcopy настроенная на запуск по расписанию или по событию подключение внешнего диска.

xcopy k:\source_folder k:\target_folder /c /s /e /r /h /d /y /x

Куш-тэнгри
Файлохранилище - это только для временного размещения (если с винта на винт либо очень долго либо невозможно). Это как поменять местами в двух чашках чай и кофе 😊
А в целом - да, личный NAS нужен, если все время к нему есть доступ, все время туда что-то складываешь нужное (для фотографа - обязателен, например). Основная задача NAS - хранение информации и гарантия ее сохранности (за счет дублирования информации, полной или частичной - отсюда и цена выше чем просто за носитель).
Nick Brake
Куш-тэнгри
Файлохранилище - это только для временного размещения (если с винта на винт либо очень долго либо невозможно).
Все равно не годится. Качать кусками по 20-30 ГБ, когда все хранилище фото и видео занимает 300 ГБ - не имеет смысла. Проще выделить такое же место на локальном диске.
Можно, правда, сделать финт - купить за 400 р подписку на 1 ТБ в хранилище, а попользовавшись и скачав все обратно на локальные диски - через месяц отказаться от нее. (Если такое прокатит 😛... 😊

Покупать NAS - для меня не вариант, я посмотрел в магазинах - они готовые стоят как моя пенсия (самые дешевые, на один HDD), а другие - больше, чем обе наши с женой пенсии.

Пожалуй, я все больше склоняюсь к варианту, озвученному выше - взять еще один такой же комп (у меня он есть, только на нем стоит винчестер 300 Гб), и сделать системным диском 1Тб. Он и сам будет одним из хранилищ, а свободное место на нем буду использовать для переноса больших объемов между внешними дисками по USB.

Куш-тэнгри
А смысл тратиться на еще один убогий ящик заради полутерабайта?
Если уж тратиться, то в любом смысле на что-то нужное. Купите терабайтный SSD и коробочку к нему - будет типа внешнего диска/флешки. Денег немного, а пользы гораздо больше. Мне так кажется. Да и перенос всего архива на него займет гораздо меньше времени.
NAS можно собрать самому, можно взять не новый (новые - да, как чугунный мост стоят). Но это если есть реальная нужда для него.
Nick Brake
Куш-тэнгри
А смысл тратиться на еще один убогий ящик заради полутерабайта?
Не понял: на что тратиться?
Я как раз тратиться и не хочу. Второй комп под диск 2,5" у меня уже есть, сами диски по 1 Тб - тоже есть. Нужно просто вставить одно в другое. 😊
Ланцепок
Nick Brake
взять еще один такой же комп (у меня он есть, только на нем стоит винчестер 300 Гб), и сделать системным диском 1Тб. Он и сам будет одним из хранилищ, а свободное место на нем буду использовать для переноса больших объемов между внешними дисками по USB.
Если есть ещё один такой же, не имеет смысла таскать файлы с одного на другой через USB. Свяжите их в сеть через кросс-кабель и качайте. Скорость будет весьма приличная.
Nick Brake
Ланцепок
Если есть ещё один такой же, не имеет смысла таскать файлы с одного на другой через USB.
Как минимум один из дисков все равно будет внешний, по USB.
А так-то они оба в одной домашней сети, через роутер.

Если их соединять сетевым кабелем напрямую, а не через роутер - то какие понадобятся настройки, чтобы они друг друга видели? И какая теоретически должна быть скорость копирования при таком соединении?

Ланцепок
Nick Brake
А так-то они оба в одной домашней сети, через роутер.
Так мне со своего дивана Вашего домашнего оборудования не видно. 😛 В начале была вводная: есть мини-ПК, куда хрен чего вставишь, и несколько ноутбучных HDD, надо наладить перенос файлов с диска на диск, но через USB медленно. Потом к первоначальным условиям добавился второй мини-ПК. Теперь ещё и роутер. Так скоро до стоящего "в дальнем углу скромной квартиры в 800 кв м." личного дата-центра дойдёт. 😀 "Огласите весь список, пожалуйста!"

Nick Brake
Если их соединять сетевым кабелем напрямую, а не через роутер - то какие понадобятся настройки, чтобы они друг друга видели?
Да практически такие же, как через роутер: https://faqpc.ru/soedinit-dva-kompyutera-po-seti/

Nick Brake
И какая теоретически должна быть скорость копирования при таком соединении?
Такая же, как при соединении через роутер, так что при его наличии в этом смысла нет. Это бюджетный вариант на случай, когда нужно организовать сеть между двумя компами, а покупать роутер в лом.

Помню, в те времена, когда интернет по выделенке только стал распространяться, а роутеры ещё не стали дешевыми, делал выход в интернет двух компов без роутера, как описано по ссылке выше. А то продаваны в компьютерном магазине меня уверяли, что надо брать роутер, без него мол ничего не получится. 😀

Nick Brake
Ланцепок
Так мне со своего дивана Вашего домашнего оборудования не видно.
Так я не в претензии. 😊
Просто я не стал озвучивать априори очевидные варианты, которые мне и так были понятны и уже были в той или иной мере опробованы.
Надеялся, что есть более быстрое решение, не требующее больших вложений. Но его не оказалось...

Ланцепок
Такая же, как при соединении через роутер, так что при его наличии в этом смысла нет.
Да, тогда нет смысла этим заниматься.

Ланцепок
Помню, в те времена, когда интернет по выделенке только стал распространяться, а роутеры ещё не стали дешевыми, делал выход в интернет двух компов без роутера, как описано по ссылке выше.
Да, и у меня была такая же история. Дома был один комп с двумя LAN-входами, вот с него и раздавал Интернет на второй для жены.
Skunk
Если будете делать подобие NAS'а сами, посмотрите на имеющиеся решения: например это.
Nick Brake
Skunk
Если будете делать подобие NAS'а сами, посмотрите на имеющиеся решения: например это.
Спасибо! Если для этого нужно осваивать еще одну ОС - то точно не буду. 😊
Skunk
Nick Brake
Если для этого нужно осваивать еще одну ОС - то точно не буду.
Нет: "ОС" там глубоко запрятана и вся работа ведется только с интуитивным графическим интерфейсом. Ну как, например, покупая телефон на Андроиде вы ж не "осваиваете новую ОС"? 😊
Да и в большинстве продаваемых NAS'ов и раутеров, в наши дни в их глубине крутится тот же Linux, что никак не делает их менее привлекательными в глазах непосвященных юзеров 😊
Egolf
FreeNAS отличное ПО. Я много лет пользовался хранилищем на его основе.
Но всё же у него довольно заметные требования к железу, например, оперативной памяти для нормальной работы файловой системы ZFS, стабильности питания.

Собственно аппаратные проблемы - основная причина постоянных сбоев, при которых "интуитивный графический интерфейс" нифига не решает и надо лезть в на форумы за ответом и затем в системную консоль.

А принимая во внимание что многие люди FreeNAS ставят из соображений экономии, то и железо тоже берут "вот тебе боже что нам негоже".

Короче не нужно думать что из хлама получится собрать безупречный и безпроблемный NAS. Не получится.

Недостаток фондов тут придётся компенсировать временем и квалификацией.

Nick Brake
Skunk
Ну как, например, покупая телефон на Андроиде вы ж не "осваиваете новую ОС"?
Ну так я и не собираю себе смартфон из железа, купленного по отдельности, и не устанавливаю потом туда андроид вручную. Он приходит мне готовым в коробке, с уже работающим андроидом. 😊
(Хотя некоторые, я знаю - сами собирают андроид из разных прошивок и устанавливают себе. Вот это и будет тот самый случай). 😊