forum.dolgachov.com - форум о фотобанках, стоках и продаже фотографий / microstock forum

forum => Фототехника => : gothic December 07, 2009, 01:39:58 PM

: хранение и backup данных
: gothic December 07, 2009, 01:39:58 PM
тему уже несколько раз обсуждали, но хочу еще раз структурировать ее и освежить немного.

как вы храните свои данные? я имею ввиду аппаратное решение. до недавнего времени я просто раскидывал на несколько hdd копии файлов. со временем стал это делать нерегулярно, а на прошлой неделе навернулся террабайтный основной диск (через месяц после окончания гарантии), что привело к небольшой потери данных (с прошлого backup).

задумался о полностью автоматическом backup. минимальные требования - RAID 1 (зеркало). почитал теорию про RAID 0, RAID 5, RAID 6 и тд. пришел к выводу что RAID5 мне не подходит, ибо если слетает контроллер, то данные невозможно восстановить. поэтому рассматриваю только зеркало, не смотря на его дороговизну (50% избыточности). помимо зеркала хотелось бы возможности ethernet доступа до дискового массива (не люблю usb с точки зрения надежности), хорошего охлаждения и легкости замены битых дисков.

приемлимое решение на данный момент нагуглилось только такое:

WD ShareSpace - http://wdc.com/en/products/products.asp?driveid=501 (http://wdc.com/en/products/products.asp?driveid=501)

плюсы: gigabit ethernet, легкий доступ для замены дисков, возможность в будущем нарастить объем, аппаратный RAID, с виду продуманное охлаждение, хорошая цена в пересчете на гигабайт (700$ за 4Tb).
минусы: предыдущий диск от wd пережил срок гарантии на месяц.

что я упускаю? есть ли подобные "домашние" дисковые массивы от серьезных вендоров не по цене вертолета?

PS конечно я буду еще и территориально разносить данные, планирую раз в месяц делать полную копию и хранить за городом.
 
: Re: хранение и backup данных
: Boris December 07, 2009, 02:10:23 PM
Смотрел на этот девайс, но посчитал его избыточным для себя. Сейчас у меня стоит My Book Studio Edition II (http://wdc.com/ru/products/products.asp?driveid=410). Подключен по FireWire 800 (практически как usb). Плюсы девайса: зеркальная запись, тихий, холодный, внешнее питание. Когда жесткий не используется, он падает в спящий режим, звуков вообще никаких не издает, совсем.

По мере заполнения буду менять жесткие парами. Один из заполненных на полку, второй куда-нибудь из дома. Для оперативного подключения жестких с полки буду использовать док-станцию (пока не подобрал какую именно).

У WD есть аналогичный девайс, только для сетевого подключения: http://wdc.com/ru/products/products.asp?DriveID=589.


UPD Забыл сказать, что использую его не в тяжелых условиях: на нем только постоянно обновляемый бекап системы + равы. То есть постоянного копирования/записи/чтения с жесткого нет. Поэтому и говорю что он холодный. Как он будет вести себя при тяжелых нагрузках я не знаю.
: Re: хранение и backup данных
: vitcom December 07, 2009, 02:11:04 PM
горбатого как говориться .... у вас накрылся WD - зачем ту да же еще раз?
возьмите например самсунг (они говорят исправились)


а вообще проще мне кажется настроить программу для бекапа и не хранить на одном компьютере все файлы
: Re: хранение и backup данных
: gothic December 07, 2009, 02:46:17 PM
Борис, а ты не смотрел температуру дисков во время записи? ну там поставить если копирование минут на 20, а потом глянуть индикатор?
судя по картинкам там нет встроенного охлаждения. буду очень благодарен тесту. у меня был такой же диск, только без зеркала (один). практически уверен что навернулся из-за перегрева, очень неудачный конструктив с точки зрения охлаждения дисков.

vitcom смените тон, тут не принято так разговаривать. вы можете что-то конкретное от самсунга посоветовать?
UPD посмотрел сайт самсунга, не нашел ни одного дискового массива.
: Re: хранение и backup данных
: schus December 07, 2009, 02:48:29 PM
Еще есть такая штуковина http://www.it-world.ru/itworld/itexpertiza/hard/detail.php?IBLOCK_ID=23&SECTION_ID=&ELEMENT_ID=64889
Сам не пробовал, ничего сказать не могу :)
: Re: хранение и backup данных
: gothic December 07, 2009, 02:59:16 PM
по описанию выглядит неплохо, вроде то что нужно. смущает ограничение на 4Tb, не понимаю откуда оно взялось.
: Re: хранение и backup данных
: Boris December 07, 2009, 03:30:17 PM
Я честно сказать даже не знаю где этот индикатор смотреть, если подскажешь то конечно проведу тест.
: Re: хранение и backup данных
: vitcom December 07, 2009, 03:32:45 PM
vitcom смените тон, тут не принято так разговаривать. вы можете что-то конкретное от самсунга посоветовать?

я не хотел Вас ничем обидеть, извините если что не так. просто пословица впомнилась

про самсунг, он выпускает HDD диски - Raid массив это несколько HDD вместе управляемых микроконтролеером
(довольно подробно расписано http://www.citforum.ru/hardware/data/raid/)

ЧТО использовать - NAS (Network Attached Storage)  почитайте на примере http://habrahabr.ru/blogs/hardware/57772/ на сайте Synology есть и другие варианты

а жесткие диски можете поставить и самсунговские - например серии Samsung Spinpoint F1
: Re: хранение и backup данных
: gothic December 07, 2009, 03:54:32 PM
Я честно сказать даже не знаю где этот индикатор смотреть, если подскажешь то конечно проведу тест.

у WD в комплекте есть софт для диагностики, не помню названия. там есть такая штука S.M.A.R.T. - вот один из индикаторов там температура. сейчас в офисе, дома гляну название софта. в принципе любой софт который показывает SMART пойдет.
: Re: хранение и backup данных
: vitcom December 07, 2009, 03:56:41 PM
Я честно сказать даже не знаю где этот индикатор смотреть, если подскажешь то конечно проведу тест.
любой софт который показывает SMART пойдет.

Speedfan (http://www.almico.com/sfscreenshots.php) например
: Re: хранение и backup данных
: Aguus December 07, 2009, 06:24:28 PM
Gothic

похоже, бюджетных решений под Ваши задачи кроме WD и D-Link нет, остальные довольно дорогие... Если предубеждение к дискам от WD, то посмотрите на D-Link - (www.d-link.ru), у них много таких игрушек и поставляются они без жестких дисков - ставь любые. Но у таких центров обработки данных много такого, что мне лично уж точно лишнее, мне бы просто нормальным бэкап зазеркаленных организовать и все.

Для этих целей взял кирпичик My Book World II, записал на него что нужно и отложил в сторонку. Закончилось место на нем - взял и купил другой (то есть просто как хранилище), заодно он уже и в цене упадет через несколько месяцев. Вот и концепция "поэтапного расширения системы" в зависимости от нужд пользователя (то есть не нужно сразу инвестировать в дорогой девайз).

Но если сразу деньги есть и нужно организовать автоматический бэкап, да доступ по сети, да еще и доступ удаленный (через FTP), одновременную работу нескольких пользователей, то WD ShareSpace весьма приличная игрушка для своих денег, ИМХО...
: Re: хранение и backup данных
: gothic December 07, 2009, 07:57:26 PM
смотрю пока на решение от Synology, под мои цели вполне пойдет такой вариант:
http://www.synology.su/products/30

не очень понял пока можно ли его сетевым диском подключать или только ftp.
: Re: хранение и backup данных
: vitcom December 08, 2009, 03:00:33 AM
не очень понял пока можно ли его сетевым диском подключать или только ftp.

:) это как бы уже даже не обсуждается, у него будет свой IP как у компьютера и по сети зашарите (или через специальный софт)
: Re: хранение и backup данных
: chesterf December 08, 2009, 04:48:54 AM
смотрю пока на решение от Synology, под мои цели вполне пойдет такой вариант:
http://www.synology.su/products/30

не очень понял пока можно ли его сетевым диском подключать или только ftp.

Там написано файл-сервер в малом офисе, так что я думаю что проблем не будет с подключением сетевых дисков
: Re: хранение и backup данных
: Aguus December 08, 2009, 11:15:15 AM
А, так Вы и на двухдисковый готовы были (я думал, Вам только 4 дисковый охота), тогда эта игрушка двухдисковая от Synology по цене, функционалу и надежности бренда очень даже привлекательно выглядит. А вот четырехдисковые Synology уже дороговаты... 
: Re: хранение и backup данных
: SerrNovik December 09, 2009, 04:03:31 PM
Тоже давно думаю о домашнем nas. Естественно 2 или более дисков надо, естественно зеркало из них, естественно оно должно быть тихое (домашнее всетаки а жузжать будет всю ночь)... но все время останавливает дороговизна решения. Но это только вопрос времени и приоритетов.

Usb диски диски для бэкапов (что используется у меня сейчас) - это лишь временное и очень дешевое решение, но не удобное и не надежное (есть риск потерять часть недавних данных, иногда лень сразу бекап сделать, путаница что забекапленно и когда)

: Re: хранение и backup данных
: Crok December 18, 2009, 11:15:23 PM
Народ, не откладывайте организацию бэкапа! Выбирайте хоть что-то быстро - и сделайте.
Вот я откладывал-откладывал, и дооткладывался... Считал, что это у других такое может случиться, а я не такой, денюжку на резервный диск как-нибудь выделю, когда соберусь...

И результат: вчера домашний комп сказал "ёк", сегодня спецы поставили диагноз - накрылись материнка и винт данных... Больше 400Гб фото за последний год - исходники, обработка. На следующей неделе попробуют восстановить - а если не выйдет? Что пожалел - сотку на винт и двадцатку на карман?.. ??? Не наступайте на эти грабли - если нет бэкапа, купите прямо завтра хоть что-нибудь и сделайте копии....
: Re: хранение и backup данных
: Andrejs Pidjass December 18, 2009, 11:24:38 PM
+100. а лучше делать еще и бэкап бэкапа. и хранить в разных местах, как Лев советовал. Из готовых решений для резервного копирования данных могу посоветовать Drobo. Пользуюсь уже несколько месяцев, недостатков явных не выявил.
: Re: хранение и backup данных
: SLY December 20, 2009, 07:41:30 AM
В свое время тоже болел нас-ами и рейд-ами, перечитал уйму всего, понял что нормально и недорого сделать в домашних условиях нереально. В итоге формализовал задачу так: требуется "горячее" зеркало данных, которое всегда будет в доступе + еженедельный "холодный" бэкап, уберегающий от воздействия вирусов, сбоя питания и прочей нечисти. От РЕЙД-а средствами материнской платы отказался сразу, потому что использовал данные в разных, операционках и не доверяю этой технологии ни цента. Решил вопрос под виндой с помощью двух простых и бесплатных программ nnBackup и nnCron. C их помощью делаю автоматический "бэкап" данных на второй винт в системе и на один внешний-usb, отключаемый. Все, вопрос решен. При самом плохом раскладе у меня останутся данные недельной давности на внешнем usb-винте, отключаю его сразу после копирования. При желании можно использовать еще один внешний -- если нет паранои, то не значит что за тобой не следят :-)

Если заинтересует nnBackup, вот моя строчка для .BAT-файла. Этим мы делаем полную синхронную копию папки c:\Photos, удаляя в папке бэкапа то, что было удалено в исходной папке:
c:\tools\nnbackup\nnbackup sync -i c:\Photos -o d:\Backups\Photos -s -da -v

BAT-ник можно запускать nnCron-ом или любой другой программой для запуска по расписанию. Работает как автомат Калашникова, просто и эффективно.

Для тех, кто не хочет разбираться с батниками, есть отличная утилита MirrorFolder, но она стоила 30 баксов кажись. Она делает програмный РЕЙД1 между любыми папками. Имеет очень удобный оконный интерфейс. Но за деньги :-)
: Re: хранение и backup данных
: vitcom December 21, 2009, 09:07:21 PM
Для синхронизации (скажем с тем же внешним диском) можно использовать GoodSync (она правда платная) но очень удобная.
Синхронизируетя с чем угодно - даже амазоном. Есть куча возможностей для настройки заданий.
Ручные и автоматические правила.

вообщем рекомендую хотя бы попробовать

P.S.
это не реклама. если что :)
: Re: хранение и backup данных
: t.dmitry December 22, 2009, 12:21:42 AM
я использую, к сожалению давно не обновляется, SameDir
: Re: хранение и backup данных
: SerrNovik February 15, 2010, 04:43:12 PM
Интересное и удобное решение для холодного архива (USB/SATA HDD Docking Station):

(http://web5.kabiqi.com/pic/2007/6/26/wentin/HDD%20CASE/e84474ecfa7b02c0c59b520ff536cb80.jpg)

http://shop.ebay.com/i.html?_nkw=HDD%20Docking%20Station&_dmpt=PCC_Drives_Storage_Internal&_fcid=168&_localstpos=&_sticky=1&_stpos=&gbr=1

Кто-нибудь имел опыт пользоваться?
: Re: хранение и backup данных
: maxim23 February 15, 2010, 05:39:30 PM
да, по рекламе здесь на форуме, купил. пользуюсь как кардридером в основном, и usb hub'ом. винчестеры читает без проблем тт. с доставкой мне обошлость рублей в 600 на наши...
: Re: хранение и backup данных
: SerrNovik February 15, 2010, 05:46:01 PM
Именно эту модель?
: Re: хранение и backup данных
: maxim23 February 15, 2010, 07:21:39 PM
Именно эту модель?

видимо, не совсем. выглядит так же, но у моей на морде 2 usb разъема, и 4 дырки для карт. поищите на форуме, по-моему Алексей Архипов давал ссылку на продавцов, а потом Elnur еще...
: Re: хранение и backup данных
: soleg February 15, 2010, 08:49:32 PM
ну а вариант дешево и сердито: купил винт, полтора терабайта, подключил раз в месяц к материнке, кабеля находятся за планкой для двд-девайса.
планку снял, воткнул, включил, сделал.  для домашнего бэкапа думаю самое то.
или прямо есть такая необходимость иметь быстродоступное постоянно находящееся во включенном состоянии устройство.
умеющее шарить, узнавать юзеров, качать с инета.
ну а если стыдно перед пацанами, или же есть другие внятные потребности, то конечно да.
я даже в этом случае не вижу особой разницы 5 тыщ рпм, или 7 тыщ. 16 мегабайт кэша винта или 32. сайлент, не сайлент.
: Re: хранение и backup данных
: vitcom February 16, 2010, 11:40:35 AM
я даже в этом случае не вижу особой разницы 5 тыщ рпм, или 7 тыщ. 16 мегабайт кэша винта или 32

ну это смотря сколько архив по размеру и как часто делать
: Вот ссылка на обзор одного из устройств от WD
: Click-Clack February 21, 2010, 12:53:31 PM
http://f1cd.ru/storage/reviews/western_digital_sharespace_page_1/

вот только скорость у этих решений обычно совсем не гигабитная (я имею ввиду сетевые подключения, общую производительность при передаче файлов). Для фото это практически не имеет значения, а вот для видео я неоднократно рассматривал бюджетные модели NAS - почти всегда результат один и тот же, низкая скорость передачи данных, вне зависимости от того, какой RAID на борту собран. Это таким образом защищают рынок профессиональных решений для видео и хранения данных. Кстати, рекомендации использовать такие NAS для офиса тоже считаю сомнительными, хотя внешне весьма удобно -воткнул, работает.

Решения по обеспечении высокой производителььности или надежности хранения данных или требуют адекватного подхода (конструкции и затрат), или -бесхитростного зеркалирования, которое обеспечит любой встроенный в материнку RAID-контроллер.

А вообще данные надо разделить на группы: оперативная информация (то, с чем вы сейчас работаете), долговременное хранение (то, к чему доступ возможен в любой момент) и архив (носители, которые могут быть не доступны оперативно, но учтены в базе данных). Каждая группа обеспечивается отдельными условиями хранения и безопасности. Оперативная (последняя съемка) может находиться на незащищенном диске - скорее всего эти данные еще хранятся на карте памяти. Обработанные или обрабатываемые изображения, группируемые для передачи на стоки или для других целей, исходников которых уже не существует, должны находиться на зеркалированых дисках (данные на исходниках уничтожаются только после переноса фото на RAID-"зеркало"). Изображения, в которых нет сиюминутной нужды, передаются на архивные носители - самым дешевым (и очень надежным) считается до сих пор носитель на магнитной ленте. Для обеспечения 100% сохранности, архивные данные могут быть продублированы, и копии должны храниться в помещении, физически находящемся в другом месте, в другом здании. Похожим образом организуют работу с ответственными материалами в кино и телекомпаниях, других современных медиа структурах.

Соответственно, если мы сами нарушаем эти геморройные регламенты :) никто не может гарантировать сохранность наших данных в цифровую эпоху.
: Re: хранение и backup данных
: tkachuk February 21, 2010, 10:58:27 PM
Я кстати для резервного варианта купил на гугле 200гигов пространства за 50 баксов и закидываю туда все архивы.
: Re: хранение и backup данных
: mihtiander February 22, 2010, 03:42:08 AM
50$ это в год? Можно ссылку?
: Хорошее решение для путешественника
: Click-Clack February 22, 2010, 10:48:23 AM
Но если этот архив гикнется ... Я знаю такие случаи, работал в Европе. Хостинг, с гарантией, с бэкапами - хряп! Нет данных. Извините, такая фигня, сейчас восстановим. Следуют мучительные ожидания и переписка. Восстановили. Месячной давности. Мат, ругань, новая заливка данных...

На самом деле, чисто психологически лучше отвечать за свои данные самому :) Да и возможность хищения никто не исключает: мне кое-что буржуям приходилось передавать, так они категорически выступали против передачи через общедоступные сервисы, если материалы хоть какую-то ценность представляют. У меня не было случаев утечек через всякие файловые сервисы, но я понимаю, что это возможно.

Сейчас вспомнил девайс: плата расширения для ПК, которая позволяла обычный видеомагнитофон превратить в стример. У меня такое было где-то в 94-95 году. На видео вход-выход шел такой черно-белый "шум" (закодированные данные). Управлялось все по ИК: надо было инфракрасный излучатель/приемник ПК приклеить к тому месту, где у видеомагнитофона ИК сенсор. Работало, но через раз, поэтому был куплен нормальный стример в конце концов :)
: Re: хранение и backup данных
: tkachuk February 22, 2010, 11:10:02 AM
http://picasa.google.com/support/bin/answer.py?answer=39567&hl=ru
И Пикасе храню jpeg, а в Документы позволяют закачивать любые файлы, там у меня РАВы


Если для одного из продуктов бесплатное пространство израсходовано, пользователь может приобрести дополнительное пространство, которое будет распределяться между несколькими продуктами. Общее пространство можно использовать для добавления данных в Веб-альбомы Picasa (а также в Живую ленту Google и Blogger), для хранения сообщений Gmail или для создания файлов в Документах Google. Кроме того, его можно использовать для хранения данных всех трех служб. В этом случае оно будет в порядке очереди использоваться тем продуктом, бесплатное пространство которого закончится. Ниже перечислены тарифы на дополнительное пространство.

20 ГБ - 5 долларов США в год
80 ГБ - 20 долларов США в год
200 ГБ - 50 долларов США в год
400 ГБ - 100 долларов США в год
1 ТБ - 256 долларов США в год
2 ТБ - 512 долларов США в год
4 ТБ - 1024 долларов США в год
8 ТБ - 2048 долларов США в год
16 ТБ - 4096 долларов США в год
: Re: хранение и backup данных
: tkachuk February 22, 2010, 11:15:00 AM
У меня бекапы первый на компе, второй на внешних винтах и третий на Гугле.
: Re: хранение и backup данных
: vitcom February 22, 2010, 12:04:24 PM
1 ТБ - 256 долларов США в год
External HDD - http://www.amazon.com/Western-Digital-Book-Essential-Drive/dp/B000VZCEUI - $152.95

это так, первый попавшийся
: Re: хранение и backup данных
: tkachuk February 22, 2010, 01:45:51 PM
Так яж говорю, что Гугль это третий вариант моего бекапа. Винты внешние у меня есть. Плюс Гугля это его доступность с любого места, с нынешними скоростями интернета получается очень удобно. 
: Re: хранение и backup данных
: Sky February 22, 2010, 02:10:28 PM
1 ТБ - 256 долларов США в год
External HDD - http://www.amazon.com/Western-Digital-Book-Essential-Drive/dp/B000VZCEUI - $152.95
это так, первый попавшийся
В декабре покупала Лейси на 1 Тб - около 70 евро в МедиаМаркт. Jomega дешевле.
: Re: хранение и backup данных
: soleg February 22, 2010, 10:45:44 PM
200 ГБ - 50 долларов США в год
400 ГБ - 100 долларов США в год
.......

этож можно разориться с такими ценами на бэкапы. ну или если совсем мизерно снимать, или совсем мизерно у них бэкапить
: Re: хранение и backup данных
: SerrNovik February 22, 2010, 11:04:35 PM
Зато реально можно не париться за данные. Последнее где их можно будет потерять - это там.
: Re: хранение и backup данных
: dolgachov February 23, 2010, 03:24:13 PM
попробовал вчера организовать передачу данных внутри команды через гугль докс.

фиг вам. то грузит. то не грузит. то ждёшь час, пока 10 мег уйдут. то ещё что-нибудь.

КРАЙНЕ нестабильно как-то. ;(
: Re: хранение и backup данных
: tkachuk February 23, 2010, 06:08:31 PM
Это команда не видит файлы или с твоего компа в докс плохая загрузка?

С компа в докс, я вчера залил за вечер пару гигов РАВов совершенно спокойно, ниче не пропало.
: Re: хранение и backup данных
: SerrNovik February 23, 2010, 07:05:05 PM
Проблемы локального провайдера 100%

Очень давно для всех обсуждений и записей использую гугл сервисы даже если только для себя. А новый google wave просто чудо для того чтобы обмозговывать планы фотосессий не смотря на то что еще даже не бета - делает даже значительно менее полезным гугл докс. Для coloboration не заменим + вероятность того что у них данные побъются на столько низка что вероятнее что завтра железный занавес повесят. Данные трижды дублируются и разнесены по разным дата центрам.
: Re: хранение и backup данных
: dolgachov February 23, 2010, 07:20:39 PM
ну вот я вчера залил один раз спокойно. а второй раз - неспокойно. в третий опять спокойно. в четвёртый - вечное ожидание.

работать в таком режиме нельзя. ни с какими другими сервисами никаких проблем у локального провайдера нет. везде всё заливается, сливается и очень быстро бегает.

в общем, решил пока не использовать этот сервис для работы. очень уж странно работает аплоад.
: Re: хранение и backup данных
: dolgachov February 23, 2010, 07:21:11 PM
а, ну и все эти выкачивания одним файлом в зип-формате мне тоже очень не понравились.
: Re: хранение и backup данных
: dolgachov February 23, 2010, 07:25:36 PM
вот сейчас опять попробовал. поставил залиться 7 джипегов. первый, на 2 Мега, улетел за 4 секунды. второй, на 5 Мегов, "уходит" уже две минуты. бред какой-то. ;(

: Re: хранение и backup данных
: tkachuk February 23, 2010, 07:41:46 PM
Лев а у тебя виндовс или МАК? Если МАК то есть утилита которая закачивает выбранную папку с JPEGом махом в PICASу
: Re: хранение и backup данных
: dolgachov February 23, 2010, 07:43:21 PM
винда.

к тому же, оно мне больше для тяжёлых 16-бит тиффов могло бы приходиться. именно с учётом очень низкой цены за место.
: Re: хранение и backup данных
: SerrNovik February 23, 2010, 07:54:49 PM
Если гугл доки использовать для загрузки эскизов - то это не удобно потому что нельзя загружать несколько файлов одним - двумя кликами, но это можно делать в Wave.

Может я не понял о чем идет речь. Если речь идет о передаче уже готовых файлов а не об обсуждении - то эти сервисы - не правильный инструмент. Эти сервисы не для картинок высокого разрешения. Для этого нужно использовать ftp.

: Re: хранение и backup данных
: dolgachov February 23, 2010, 07:56:33 PM
если сервис предлагает покупать пространство терабайтами и не имеет ограничения на размер файла, то очень логично предположить, что он себя позиционирует не только как сервис для передачи файлов "для обсуждения".

про фтп я в курсе, спасибо ;]
: Re: хранение и backup данных
: SerrNovik February 23, 2010, 08:23:30 PM
Похоже я все таки не понял о чем идет речь. Если речь идет о том чтобы фотографии грузить на гугл доки как отдельные документы - то я о другом говорил. Кстати хорошая идея - надо протестировать как это работает. Не ставил вопрос таким углом.
: Re: хранение и backup данных
: dolgachov February 23, 2010, 08:42:25 PM
речь идёт о файлообмене внутри группы людей.

до сих пор я для этого использовал фтп, но гугль докс - современная приблуда, очень удобная по своей идее. поэтому я решил её протестировать. если бы работала нормально - купил бы гигов 10-20 места у них и работал через их сервис. но пока, вероятно, оно чуток сыровато.
: Re: хранение и backup данных
: SerrNovik February 23, 2010, 08:55:08 PM
Протестировал на группе из 15 файлов от 3 до 10 мегабайт из последнего батча - залилось минуты за две, проблем не заметил. Заливал с висты используя браузер хром.
: Я недавно писал обзор Final Cut Server
: Click-Clack February 23, 2010, 11:48:04 PM
это совсем не сервер, а такой броусер скорее, с развитым инструментарием, позволяющим управлять творческо-производящим сообществом и администрировать его. Если кому-то это интересно, то обзор мой тут: http://f1cd.ru/soft/reviews/apple_final_cut_server_page_1/

Мне приходилось организовывать работу телевизионных производств, оттуда и интерес к таким продуктам. Недавно я с представителями Adobe в России беседовал, спрашивал их про Version Cue (вроде как аналог Final Cut Server, похожие функции выполняет), но для них это настолько второстепенно сейчас, они о других вещах думают, чт затруднились с ответом, есть ли в России реализованные промышленные проекты с использованием продуктов Adobe с использованием Version Cue.

Возможно, что для фото подобное тоже можно использовать. Например, отсняв серию фотограф помещает исходники в определенную папку. Ретушер автоматически получает сообщение об этом, приступает к обработке. Готовый материал попадает в папку ГОТОВЫЕ, о чем незамедлительно уходит сообщение продюсеру. По мере работы есть возможность (на MACе это так, на ПК с Адобом не удалось пока увидеть) обсуждать работу в он-лайн или прикреплять пометки к файлам. Соответственно, ведется и единая база с каталогизацией и поиском, бэкапы и т.п.

Интересно все же на ПК с продуктами Адоба увидеть такой процесс...
: Re: хранение и backup данных
: tkachuk February 24, 2010, 12:29:49 AM
Так как загрузку в Докс разных файлов гугль разрешил только 15 января, естественно продукт сыроват и софта стороннего мало. Я вот нарыл программку по описанию интересная, буду пробовать. Порадовало наличие под МАК и ПС    http://www.memeoconnect.com/index_opt2
: Re: хранение и backup данных
: stepanov February 24, 2010, 02:27:01 AM
речь идёт о файлообмене внутри группы людей.

до сих пор я для этого использовал фтп, но гугль докс - современная приблуда, очень удобная по своей идее. поэтому я решил её протестировать. если бы работала нормально - купил бы гигов 10-20 места у них и работал через их сервис. но пока, вероятно, оно чуток сыровато.

как альтернатива - Ubuntu One http://ru.wikipedia.org/wiki/Ubuntu_One (http://ru.wikipedia.org/wiki/Ubuntu_One)
: Re: хранение и backup данных
: vitcom February 24, 2010, 11:24:55 AM
как альтернатива - Ubuntu One http://ru.wikipedia.org/wiki/Ubuntu_One (http://ru.wikipedia.org/wiki/Ubuntu_One)

когда я пробовал с ним работать - они время от времени подглючивал
: Re: хранение и backup данных
: t.dmitry February 27, 2010, 04:59:31 AM
Я через Google.Docs обмениваюсь tiff'ами. мне пока удобно.
вот только жаль что нельзся мне одному купить 20 Гиг, а оастальным как бы пользоваться моими :(
а то 1 гига, при 60М тифах не надолго хватает :))

выглядит пример так.

HumanName
--001
--002 (номер партии) , веду отдель учет
----source (сюда tiff'ы из рав конвертера
----done
------jpeg (сюда превьюзи поноразмерные)
------tiff (если все хорошо в превью, сюда tiff'ы)
003
004

скачал, просмотрел, пробекапил, удалил из папочек.
: Re: хранение и backup данных
: Cepn October 13, 2010, 04:23:42 PM
подскажите пожалуйста, как хранить винты?
начал недавно делать бекап фотографий на внешних 3.5 винтах и задумался - их можно хранить просто в пакетиках, в которых они продаются? или нужно покупать к каждому коробочку (контейнер)? есть ли вообще правила хранения харда вне системного блока?  :chainik:
: Re: хранение и backup данных
: SerrNovik October 13, 2010, 04:49:45 PM
В сухом темном месте подальше от источников излучения (мобильный телефон класть на диск не совсем хорошая идея), в недоступном для детей месте. Сомневаюсь что есть какие-то официальные рекомендации.
: Re: хранение и backup данных
: Cepn October 13, 2010, 05:00:26 PM
т.е. можно хранить просто голый винт в шкафу?
: Re: хранение и backup данных
: anatols October 13, 2010, 05:07:05 PM
винты перепады температур не любят, механика всё таки -- температурные расширения, смазка.
а вот источники излучения им почти по барабану, т.к. корпус из металла всё экранирует.
: Re: хранение и backup данных
: SerrNovik October 13, 2010, 05:47:20 PM
т.е. можно хранить просто голый винт в шкафу?
А чем отличается хранение в корпусе компьютера или USB коробки от хранения в шкафу?
: Re: хранение и backup данных
: soleg October 13, 2010, 06:16:56 PM
в шкаф больше влезет  :)
: Re: хранение и backup данных
: Cepn October 13, 2010, 06:20:57 PM
А чем отличается хранение в корпусе компьютера или USB коробки от хранения в шкафу?
лично для меня отличается тем, что системный блок - железная коробка, а шкаф - деревянная. Насколько эта разница важна для винта не знаю, поэтому и спрашиваю.
В общем, насколько я понял, винт можно хранить в шкафу без специальных контейнеров, вдалеке от климатического оборудования типа кондеев и батарей.
спасибо!
: Re: хранение и backup данных
: vitcom October 13, 2010, 07:13:46 PM
В общем, насколько я понял, винт можно хранить в шкафу без специальных контейнеров, вдалеке от климатического оборудования типа кондеев и батарей.

ну засунуть его желательно в мешок от статики (компьютерные платы обычно кладут в такие) + пакетик гранулами которые влагу собирают и храни спокойно в шкафу
: Re: хранение и backup данных
: chesterf October 14, 2010, 03:09:23 AM
а можно обклеить фольгой внутренние стенки шкафа :))
: Re: хранение и backup данных
: olejek March 12, 2011, 08:35:46 PM
Для тех, кто не хочет разбираться с батниками, есть отличная утилита MirrorFolder, но она стоила 30 баксов кажись. Она делает програмный РЕЙД1 между любыми папками. Имеет очень удобный оконный интерфейс. Но за деньги :-)
Для синхронизации (скажем с тем же внешним диском) можно использовать GoodSync (она правда платная) но очень удобная.
я использую, к сожалению давно не обновляется, SameDir
Есть замечательная программа для автоматизации - xStarter. Ей можно и локальные папки синхронизировать, и по фтп. И много чего ещё она умеет. Да, она бесплатная :D
: Re: хранение и backup данных
: vitcom March 12, 2011, 10:44:35 PM
Прикольная программка, будет время, поковыряю. Спасибо Вам
: Re: хранение и backup данных
: SerrNovik March 14, 2011, 12:16:21 PM
Немного не очень приятного опыта про backup

Не доверяйте только автоматическому бекапированию. У меня вчера произошел факап там, где мне казалось все очень надежно устроено. Архитектура включает в себя NAS с рейдом + рабочий диск + backup диск + иногда я еще копирую совсем важные ключевые данные на USB диск.
На backup диск GoodSync - бекапирует данные несколькими job-ами автоматически раз в день с рабочего диска и с архивного NAS-а.
Так вот какое - то время назад на бекап диске закончилось место. В основном это произошло из за того что туда попало и во время не почистилось. Какое-то время (два-три месяца) не доходили руки. Вчера они дошли - были почищены папки в которых скопился материал, который не был отобран для дальнейшего использования, перенесены из рабочего в архив на Nas обработанные материалы за это время + на NAS в архиве были еще съемки с поездки.
Уж не знаю как это получилось - но из за некорректной буквы диска стоящей в Job-е архивная папка была замещена папкой с другого диска, которая оказалась с таким же именем. Таким образом потерялись исходники тех съемок которые отправились в архив за последние несколько месяцев + личный архив + пару дней необработанных поездочных съемок(зря один раз вставал утром снимать рассвет). Скорее всего эта ошибка присутствовала и до переполнения диска - просто не было такой же папки с таким же именем на том диске от куда она была скопирована по ошибке. Легко заметить когда не бекапируются текущие данные, но когда не копируются архивные - сложно.

Если бы я вручную не копировал материал для публикации на USB диск - потерялись бы JPEG-и уже готовых работ.

От сюда мораль - нельзя доверять только автоматике или только ручкам - надо дублировать и так и так.


: Re: хранение и backup данных
: vitcom March 14, 2011, 12:58:54 PM
доверяй но проверяй - GoodSync можно и ручками делать
: Re: хранение и backup данных
: SerrNovik March 14, 2011, 02:06:21 PM
Ну никогда не заставишь себя стабильно делать синхронизацию.
: Re: хранение и backup данных
: tkachuk June 02, 2011, 11:27:57 AM
Появилась нормальная програмка для синхронизации файлов с Google Docs

http://www.syncdocs.com/google-sync-features-and-details/
: Re: хранение и backup данных
: kirillica July 25, 2011, 06:23:30 PM
вставлю свои 5 копеек. я брал себе для данных и вообще для бэкапа внешний WD на террабайт. сдох через полгода. щя лежит в клике, ожидает рессурсов на осмотр (по гарантии). в общем, я в сомнениях.

подумываю о решении Lacie RAID, но все чего-то не решиться: похоже, совсем надежных фирм не бывает, а как мне сказал один техник, на его практике раиды предпочитают умирать всем составом...
: Re: хранение и backup данных
: vitcom July 28, 2011, 02:22:09 AM
вставлю свои 5 копеек. я брал себе для данных и вообще для бэкапа внешний WD на террабайт. сдох через полгода. щя лежит в клике, ожидает рессурсов на осмотр (по гарантии). в общем, я в сомнениях.

подумываю о решении Lacie RAID, но все чего-то не решиться: похоже, совсем надежных фирм не бывает, а как мне сказал один техник, на его практике раиды предпочитают умирать всем составом...

если это архив
Raid или нет - сдохнуть может что угодно. (замыкание в сети, падение, браковнная партия hdd, пролив жидкости или еще что). Делайте 2-3 копии и храните территориально в разных местах.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 09:21:29 AM
т.е. можно хранить просто голый винт в шкафу?
А чем отличается хранение в корпусе компьютера или USB коробки от хранения в шкафу?
Большую часть времени устройство ВЫКЛЮЧЕНО.
Нет рисков повредить данные вирусами, скачками электроэнергии и т.п.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 09:23:37 AM
вставлю свои 5 копеек. я брал себе для данных и вообще для бэкапа внешний WD на террабайт. сдох через полгода. щя лежит в клике, ожидает рессурсов на осмотр (по гарантии). в общем, я в сомнениях.

подумываю о решении Lacie RAID, но все чего-то не решиться: похоже, совсем надежных фирм не бывает, а как мне сказал один техник, на его практике раиды предпочитают умирать всем составом...

На моей практике - зеркало в RAID может сдохнуть целиком. Но как правило между одним и вторым диском у Вас есть время достаточно большое.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 09:24:18 AM
тему уже несколько раз обсуждали, но хочу еще раз структурировать ее и освежить немного.

как вы храните свои данные? я имею ввиду аппаратное решение. до недавнего времени я просто раскидывал на несколько hdd копии файлов. со временем стал это делать нерегулярно, а на прошлой неделе навернулся террабайтный основной диск (через месяц после окончания гарантии), что привело к небольшой потери данных (с прошлого backup).

Давно перешел за ЗЕРКАЛА.
ВСЕ диски в компьютере парные.
Уже несколько раз - выручало.
: Re: хранение и backup данных
: vitcom October 06, 2011, 10:51:25 AM
и сколько же пар у тебя в компе?
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 11:44:28 AM
и сколько же пар у тебя в компе?
До недавних пор было 8 дисков в компьютере. То есть 4 пары.


: Re: хранение и backup данных
: rusak October 06, 2011, 11:51:22 AM
а сколько мощности надо все их прокормить?
как с охлаждением?
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 11:52:09 AM
а сколько мощности надо все их прокормить?
как с охлаждением?
С мощностью - проблемы преувеличены.
У меня блок питания на 350 или 400 Вт.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 12:00:32 PM
как с охлаждением?
В корпусе штатно предусмотрены гнезда для 3-х вентиляторов НАПРОТИВ дисков.

Разумеет, вентиляторы туда установлены и жесткие диски обдувают.
Не сказал бы что в корпусе жарко в районе дисков. В районе процессора и видеокарты, имхо, жарче.

Чтобы не шумели - все вентиляторы в корпусе (окромя процессорного) подключены через Zalman ZM-FMC1 (панелька с регуляторами скорости вращения вентиляторов, устанавливается в 5-дюймовый отсек), на этой панельке ВСЕ регуляторы скорости вращения вентиляторов установлены в положение МИНИМУМ. Шумит не сильно.

Недавно приносили НОВЫЙ компьютер - знакомый купил, просил помочь с настройкой. Не навороченная околобюджетная машинка - греться там нечему. Так вот МНОГО шумнее моего. Несмотря на то что там всего-навсего 1 жесткий диск, набортная видеокарт и негорячий процессор.

: Re: хранение и backup данных
: strobist.ru October 06, 2011, 12:09:23 PM
а сколько мощности надо все их прокормить?
Не поленился, слазил в корпус: блок питания 400 Вт, Chieftec, шел в комплекте с корпусом.
Работает уже лет семь, пережил несколько материнских плат, процессоров и дисков.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 12:12:33 PM
а сколько мощности надо все их прокормить?
как с охлаждением?
Корпус такой:
http://www.chieftec.com/BA02.html
Гнезда под жесткие диски снизу заполнены.
Там если че - еще сверху через рэки (не хочу, ибо плохое охлаждение) или корзину (вариант интереснее по охлаждению) в пятидюймовые отсеки ставить диски.
: Re: хранение и backup данных
: rusak October 06, 2011, 12:43:47 PM
и такой блок одновременно кормит 8 винтов? интересно. я за пару-тройку то переживал :)))
: Re: хранение и backup данных
: Shelda October 06, 2011, 02:23:28 PM
Все храню на амазоне (ирландские сервера) :chupa:
: Re: хранение и backup данных
: SerrNovik October 06, 2011, 02:31:52 PM
По моему удобнее когда над облачным хранилищем есть еще логическое приложение. Я использую crashplan.com - стоит копейки, работает хорошо, как добавление к NAT зеркалу и ручному дополнительному бекапу.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 03:11:41 PM
и такой блок одновременно кормит 8 винтов? интересно. я за пару-тройку то переживал :)))
Несколько ЛЕТ кормит нормально.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 03:18:53 PM
и такой блок одновременно кормит 8 винтов? интересно. я за пару-тройку то переживал :)))
Жесткие диски в большинстве своем потребляют 3-15 Вт.
Самое большое потребление - при раскрутке, может до 30 Вт доходить. Посему умные (читай, дорогие) контроллеры жестких дисков умеют запускать их не одновременно, а с паузами.
Но пара-тройка вообще не есть проблема для среднего уровня блока питания.
Другой вопрос - если у Вас еще и жрущая видеокарта и процессор. Но в перегрузе блока питания будут они виноваты, а никак не 2-3 жестких диска.

: Re: хранение и backup данных
: strobist.ru October 06, 2011, 03:20:12 PM
Все храню на амазоне (ирландские сервера) :chupa:
А почему берут за пару терабайтов?
: Re: хранение и backup данных
: anatols October 06, 2011, 03:58:30 PM
Все храню на амазоне (ирландские сервера) :chupa:
под последний их шатдаун не попали?
: Re: хранение и backup данных
: SerrNovik October 06, 2011, 04:00:21 PM
Даже если они будут недоступны неделю - нам не страшно. Это же резервная копия.
: Re: хранение и backup данных
: strobist.ru October 06, 2011, 04:02:01 PM
Даже если они будут недоступны неделю - нам не страшно. Это же резервная копия.
Как правило резервные копии нужны тогда, когда они недоступны
 :D :D :D
: Re: хранение и backup данных
: rusak October 06, 2011, 08:22:45 PM
По моему удобнее когда над облачным хранилищем есть еще логическое приложение. Я использую crashplan.com - стоит копейки, работает хорошо, как добавление к NAT зеркалу и ручному дополнительному бекапу.

расскажите про этот сервис?
: Re: хранение и backup данных
: SerrNovik October 06, 2011, 10:24:21 PM
А что именно интересует? 4 бакса в месяц за безлимитк по объему у если купить надолго. Канал не режут, у меня за несколько месяцев ахрихв больше терабайта залился. Можно настраивать разные папки с разным приоритетом. Бонусом любые файлы можно скачать через веб от куда угодно через браузер.
Бесплатно можно бекапировать другу или на другой диск. Работает в фоновом режиме и незаметен. Под сервисом лежит, на сколько я знаю Rackspace облако (типа амазона, но чуть подешевле).

Амазон и сам Rackspace смотрел, но через ftp придется все самому и ручками + дороже выйдет, а они оптом покупают.
: Re: хранение и backup данных
: Shelda October 07, 2011, 01:40:21 AM
Все храню на амазоне (ирландские сервера) :chupa:
А почему берут за пару терабайтов?
готовое решение - https://www.dropbox.com/pricing и вот еще ссыль: http://aws.amazon.com/s3/
Все храню на амазоне (ирландские сервера) :chupa:
под последний их шатдаун не попали?
нормусь все
под последний их шатдаун не попали?
[/quote]
: Re: хранение и backup данных
: rusak October 14, 2011, 02:21:59 PM
А что именно интересует? 4 бакса в месяц за безлимитк по объему у если купить надолго. Канал не режут, у меня за несколько месяцев ахрихв больше терабайта залился. Можно настраивать разные папки с разным приоритетом. Бонусом любые файлы можно скачать через веб от куда угодно через браузер.
Бесплатно можно бекапировать другу или на другой диск. Работает в фоновом режиме и незаметен. Под сервисом лежит, на сколько я знаю Rackspace облако (типа амазона, но чуть подешевле).

Амазон и сам Rackspace смотрел, но через ftp придется все самому и ручками + дороже выйдет, а они оптом покупают.

спасибо. попробую их.
: Re: хранение и backup данных
: soleg October 15, 2011, 12:43:30 AM
а в чем прелесть хранения гдето у когото?
: Re: хранение и backup данных
: strobist.ru October 15, 2011, 09:41:13 AM
а в чем прелесть хранения гдето у когото?
Типа есть надежда, что они с вашими данными будут обращаться бережнее, чем Вы.
Но если смотреть на жизнь реально - то хранить там нужно только КОПИЮ того, что есть у Вас.
: Re: хранение и backup данных
: strobist.ru October 15, 2011, 10:24:16 AM
а в чем прелесть хранения гдето у когото?
1. Перекладывание ответственности на других.
2. Оборудование в серьезных конторах и правда очень крутое.

Только я бы не верил так опрометчиво всем, предлагающим за денежки похранить.
Мне очень хорошо известно (изнутри) как работают подобные фирмы.
Даже не обязательно, что они относятся к своей работе недостаточно ответственно (хотя и это есть иногда), есть и объективные факторы (пожары, наводнения, повреждение каналов связи, кражи, DDoS-атаки, вирусы-трояны и пр.).

У себя копию нужно держать

Но ведь и у Вас могут быть пожары-наводнения.

Посему наиболее надежным и является хранения данных В ДВУХ и более РАЗЛИЧНЫХ далеко расположенных МЕСТАХ.
Как альтернатива - объединиться с другом: хранить копии друг у друга. При условии постоянного подключения к интернету и хранения копии на отдельном устройстве - вполне надежный метод.

: Re: хранение и backup данных
: SerrNovik October 15, 2011, 04:49:33 PM
Облачные хранилища в разы надежнее, так как там авто-реплецирование на низком уровне.

И конечно речь идет о том, что эти сервисы - дополнение к рейдам и бекапам.

А у того-же Crashplan - есть функция бесплатно "бекапировать к другу".
: Re: хранение и backup данных
: strobist.ru October 15, 2011, 06:01:42 PM
Облачные хранилища в разы надежнее, так как там авто-реплецирование на низком уровне.

И конечно речь идет о том, что эти сервисы - дополнение к рейдам и бекапам.

А у того-же Crashplan - есть функция бесплатно "бекапировать к другу".
В теории - да.
На практике - никаких их RAID не спасут Вас, когда крысы или экскаватор канал связи перережет у Вас во дворе.
: Re: хранение и backup данных
: SerrNovik October 15, 2011, 06:31:27 PM
Ну что за ерунда. Ну перерубит экскаватор линию, ну неделю не будет доступен мне бекап бекапа, что дальше?
: Re: хранение и backup данных
: strobist.ru October 15, 2011, 06:54:12 PM
Ну что за ерунда. Ну перерубит экскаватор линию, ну неделю не будет доступен мне бекап бекапа, что дальше?
Если бэкап бэкапа недоступен - то это ерунда.

Но, как показывает моя практика (я информацию с поврежденных дисков иногда помогаю восстанавливать) - как правило бэкапов просто НЕТ. Точнее они есть, но, например, полугодовалой давности. То есть в нашем случае ну очень возможна ситуация: понадеялись на удаленный бэкап, связи с ним нет неделю (ну или в результате обновления софта какой то скрипт отказал и неделю бэкапы уже не делаются), локальный бэкап только месячной давности, а результаты фотосъемки нужно отдавать заказчику уже завтра...

Так обычно и бывает.
 :popcorn:
: Re: хранение и backup данных
: t.dmitry October 18, 2011, 05:04:06 PM
Все храню на амазоне (ирландские сервера) :chupa:

если не секрете, какие данныне там храните, raw, jpg? сколько занимают как часто заливаете и достаете оттуда, сколько выходит в мес приблизительно?
: Re: хранение и backup данных
: Shelda October 18, 2011, 09:42:11 PM
Мои скромные 4 гига мне обходятся 17 рублей в мес. (0,14$ за гиг)
цены http://aws.amazon.com/s3/#pricing
храню вектор, jpg) раз-два раза в неделю синхронизирую
: Re: хранение и backup данных
: Vjom October 21, 2011, 05:37:08 PM
А кто-нибудь пользовался Box.net? У них там сейчас акция, и все, кто создал аккаунт через iOS приложение, получают 50Гб в подарок для бесплатного пользования. Я вот завел себе только что, теперь сижу разбираюсь.
: Re: хранение и backup данных
: Givaga October 27, 2011, 12:23:15 AM
По моему удобнее когда над облачным хранилищем есть еще логическое приложение. Я использую crashplan.com - стоит копейки, работает хорошо, как добавление к NAT зеркалу и ручному дополнительному бекапу.
Прикольное хранилище
Залилось быстро все удобно
Спасибо!
: Re: хранение и backup данных
: rusak October 27, 2011, 08:02:30 AM
я тоже пытаюсь crashplan.com заюзать. только несмотря на мою 15мб скорость инета, скорость заливки почему то 30-50кб/секунду. жесть, 30-60 дней заливаться будет.
: Re: хранение и backup данных
: Givaga October 27, 2011, 12:07:42 PM
У меня тоже по началу скорость была до 1 мегабит
Переустановил винду появились вопросы
Оплатил сервис написал в поддержку, после обращения скорость увеличилась раз в десять
Хотя про скорость вопрос не задавал
Может они увеличили или провайдер очнулся не знаю
Попробуйте написать в поддержку может вопрос решится
: Re: хранение и backup данных
: SerrNovik October 27, 2011, 12:27:41 PM
Я им писал про скорость.... Они сказали, что не жмут (еще до оплаты спрашивал и проверял). Потом вырубил торренты и прочую фоновую шелуху - скорость взлетела. Но все равно несколько месяцев свой полтора терабайтов заливал.
У них можно создавать различные области с различными приоритетами. Так что это не проблема. Критичная область очень быстро залилась.
Я разделил на 3 части:
1 - готовые jpeg-и + всякие документы и важная личная информация к стокам не относящая.
2 - обработанные и исходники
3 - рабочая папка

Как только все залилось рабочая папка заливается в течении суток после даже самой большой съемки. И даже иногда начинает мешать работать в фотошопе, когда во время работы она уже бекапирует редактируемый файл и блокирует файл на сохранение. В таких случаях отправляю "спать" процесс.
Так что в теории у них хранятся даже те файлы, помеченные удаленными, которые я выкидываю почти сразу (неудачные кадры, дубликаты и все те из 500-900 снимков за съемку из которых остается 5-20).
: Re: хранение и backup данных
: rusak October 27, 2011, 12:41:44 PM
ну посмотрим че ответят. у меня этот комп еще нет раздает, и грузит на все стоки сабмиттер и прочее, но 30кбит/сек - это уж очень жесть. было бы хотя бы 500 я бы еще молчал.
: Re: хранение и backup данных
: Givaga October 27, 2011, 01:02:07 PM
Я решил бекапировать архивный винт
Добавляю сразу выборочныно копии на архивный диск
У меня это много времени не занимает 
Crashplan сразу подхватывает и сохраняет
: Re: хранение и backup данных - NAS?
: dolgachov February 16, 2012, 04:14:11 PM
ребята, посоветуйте недорогой и приличный NAS? на много винтов, чтобы внутрь можно было напихать терабайт 12-15.

пока нашёл http://www.seagate.com/docs/pdf/datasheet/disc/ds_ba_nas_440_420_400.pdf

но мне кажется там 12 терабайт будет в режиме "тупо все винчестеры в ряд". а во всяких райдовых - меньше. или я не прав?

какие ещё могут быть варианты?
: Re: хранение и backup данных
: vitcom February 16, 2012, 06:57:04 PM
ну какойнить http://www.amazon.com/gp/product/B004TT1FLQ/ref=as_li_ss_tl?ie=UTF8&tag=esata.net-20&linkCode=as2&camp=217145&creative=399373&creativeASIN=B004TT1FLQ
такой из небольших. 4 x 3TB

или уже большая стойка - http://h10010.www1.hp.com/wwpc/us/en/sm/WF06b/12169-3798502-3954626-3954626-3954626-5031436-4350587-4350588.html?dnr=1
: Re: хранение и backup данных - NAS?
: strobist.ru February 25, 2012, 08:13:04 AM
ребята, посоветуйте недорогой и приличный NAS? на много винтов, чтобы внутрь можно было напихать терабайт 12-15.

пока нашёл http://www.seagate.com/docs/pdf/datasheet/disc/ds_ba_nas_440_420_400.pdf

но мне кажется там 12 терабайт будет в режиме "тупо все винчестеры в ряд". а во всяких райдовых - меньше. или я не прав?

какие ещё могут быть варианты?

Самый дешевый - взять компьютер с большим числом гнезд под HDD и установить в него операционную систему FreeNAS - она как раз под такие задачи.
Настраивается несложно даже неспециалисту.
: Re: хранение и backup данных - NAS?
: strobist.ru February 25, 2012, 08:26:26 AM
ребята, посоветуйте недорогой и приличный NAS? на много винтов, чтобы внутрь можно было напихать терабайт 12-15.

пока нашёл http://www.seagate.com/docs/pdf/datasheet/disc/ds_ba_nas_440_420_400.pdf

но мне кажется там 12 терабайт будет в режиме "тупо все винчестеры в ряд". а во всяких райдовых - меньше. или я не прав?

какие ещё могут быть варианты?

Какие бы навороченные железяки не предлагали производители - там внутри выбора особо нет.

Принцип один, надежность достигается задействованием какого-то количества жестких дисков под резерв: в самом экономичном режиме X жестких дисков дают суммарную вместимость "(X-1)*объем одного диска".

Ну а если Вы пессимист или маньяк, то просто выбираете конфигурацию, где под резерв больше идет - тогда суммарная полезная вместимость разумеется меньше, причем ровно на столько, сколько жестких дисков Вы под резерв поставили.

Разница только в особенностях конфигурирования, в количестве устанавливаемых жестких дисков, хорошести охлаждения, скорости набортного процессора, наличия батареи кэша записи...

: Re: хранение и backup данных
: strobist.ru February 25, 2012, 08:37:16 AM
ну какойнить http://www.amazon.com/gp/product/B004TT1FLQ/ref=as_li_ss_tl?ie=UTF8&tag=esata.net-20&linkCode=as2&camp=217145&creative=399373&creativeASIN=B004TT1FLQ
такой из небольших. 4 x 3TB

Тут хитрый маркетинговых ход, если я не ошибаюсь.

4 x 3 терабайта = 12 терабайт. Но БЕЗ ЗАЩИТЫ от сбоев.
Как только Вы включаете защиту у Вас остается 9 терабайт в лучшем случае.

или уже большая стойка - http://h10010.www1.hp.com/wwpc/us/en/sm/WF06b/12169-3798502-3954626-3954626-3954626-5031436-4350587-4350588.html?dnr=1
Если не собираетесь докупать в стойку потом еще и еще такого или если места в помещении достаточно, то смысла переплачивать нет за стоичное.
: Re: хранение и backup данных
: SerrNovik November 30, 2012, 12:47:20 AM
А никто не пользовался amazon glacier? Вроде цены очень прикольные у них - по цену за гигобайт в месяц - специально для бекапов. Это я как понимаю огромная lte библиотека у них со всеми атрибутами вроде дешевезны и задержек при востановлении (что ОК для бекапа).
Конечно краш планом достаточно доволен, но надо рынок знать.
: Re: хранение и backup данных
: t.dmitry December 19, 2012, 04:42:38 PM
CrashPlan кто-то использовал? Вроде цены подходящие и нет ограничения на хранимые данные...
Поделитесь опытом кто уже использовал/использует
: Re: хранение и backup данных
: rusak December 19, 2012, 06:26:52 PM
второй год использую. все норм
: Re: хранение и backup данных
: t.dmitry December 19, 2012, 07:43:55 PM
второй год использую. все норм

а чуть подробнее можешь рассказать?
как там со скоростью, ограничением размеров файлов? можно ли туба залить образ DVD диска ну и т.д.?
Сколько раз спасал, в смысле использовался по назначению, для восстановления, все ли понравилось?..
: Re: хранение и backup данных
: rusak December 19, 2012, 07:50:20 PM
спасать не приходилось, слава богу.
скорость по разному.. на старом компе почему то было медленно несмотря на высокую скорость инета и саппорт не помогал, фиг знает, новый комп - скорость нормальная. насчет ограничения по размеру файлов - ничего не слышал. мне кажется никаких ограничений нет. просто указываешь что бекапить, будь то твоя рабочая папка или целый логический диск, или несколько папок или несколько дисков и все, процесс пошел.
: Re: хранение и backup данных
: dolgachov December 19, 2012, 08:01:18 PM
CrashPlan кто-то использовал? Вроде цены подходящие и нет ограничения на хранимые данные...
Поделитесь опытом кто уже использовал/использует

мы используем для третьей копии.

из минусов - довольно медленное копирование. сейчас у нас синхронизировано с ними 4.5 Тб данных (с марта месяца), ждёт своей очереди ещё минимум столько же. это значит - на полную синхронизацию суммарно уйдёт больше полутора лет. и дальше уже текущими темпами будет туда-сюда актуально постоянно.

ещё - начиная с 1 Тб, и потом на каждом удвоении, программа требует подправки ини-файла. и, как следствие, жрёт всё больше оперативки. прямо сейчас - 1.3 Гига. дальше будет больше. но оперативка нынче недорогая.

крэшей пока не было, поэтому восстанавливаться оттуда не приходилось.



: Re: хранение и backup данных
: t.dmitry December 19, 2012, 08:06:16 PM
спасать не приходилось, слава богу.
скорость по разному.. на старом компе почему то было медленно несмотря на высокую скорость инета и саппорт не помогал, фиг знает, новый комп - скорость нормальная. насчет ограничения по размеру файлов - ничего не слышал. мне кажется никаких ограничений нет. просто указываешь что бекапить, будь то твоя рабочая папка или целый логический диск, или несколько папок или несколько дисков и все, процесс пошел.

CrashPlan кто-то использовал? Вроде цены подходящие и нет ограничения на хранимые данные...
Поделитесь опытом кто уже использовал/использует

мы используем для третьей копии.

из минусов - довольно медленное копирование. сейчас у нас синхронизировано с ними 4.5 Тб данных (с марта месяца), ждёт своей очереди ещё минимум столько же. это значит - на полную синхронизацию суммарно уйдёт больше полутора лет. и дальше уже текущими темпами будет туда-сюда актуально постоянно.

ещё - начиная с 1 Тб, и потом на каждом удвоении, программа требует подправки ини-файла. и, как следствие, жрёт всё больше оперативки. прямо сейчас - 1.3 Гига. дальше будет больше. но оперативка нынче недорогая.

крэшей пока не было, поэтому восстанавливаться оттуда не приходилось.

Спасибо вам большое. Буду пробовать в ближайшем времени.
: Re: хранение и backup данных
: t.dmitry December 19, 2012, 08:17:08 PM
Вот назрел вдруг такой вот вопрос еще, плюс собираю некоторую информацию.

Кто какую стратегию бекапов вообще использует?

У меня сейчас получается так.


Начинаю приходить к мысли, что схема не очень гибкая.
Приходила идея хранить отдельно RAW'ы и конечные файлы, да только не придумал как перестроить рабочий процесс.

Поделитесь пожалуйста у кого как и что устроено?.. Многим думаю будет полезно.



: Re: хранение и backup данных
: SerrNovik December 19, 2012, 09:54:20 PM
Конечные файлы, уже готовые, атрибутированные, разложенные по папочкам с релизами конечно более трепетно хранятся чем исходники. Хотя все бекапируется в несколько копий, есть рейд, облако и внешний диск.
: Re: хранение и backup данных
: t.dmitry December 20, 2012, 12:30:41 AM
Конечные файлы, уже готовые, атрибутированные, разложенные по папочкам с релизами конечно более трепетно хранятся чем исходники. Хотя все бекапируется в несколько копий, есть рейд, облако и внешний диск.

Исходники и конечные варианты в одной папке на одном винте или в разных?.. Чуть подробнее если возможно схему описать?..  :popcorn:
: Re: хранение и backup данных
: SerrNovik December 20, 2012, 12:41:37 AM
В разных конечно. Во первых в любой бека программе надо указать root папку для копирования, во вторых набор фотосетов надо держать готовым к загрузки кудабы то не было.

У меня четыре ветки. Окончательно готовые и обработанные сессии - jpeg-и с релизами, текущее в процессе съемки обработки сортировки и т.д., обработанные исходнки - psd, raw. и папка с копиями обработанных, но в процессе загрузки.

Кстати обработанные уже готовые файлы занимают относительно немного места. Их даже при очень большом портфолио достаточно просто держать на одном диске, чего не скажешь об исходниках.
: Re: хранение и backup данных
: t.dmitry December 20, 2012, 12:14:07 PM
В разных конечно. Во первых в любой бека программе надо указать root папку для копирования, во вторых набор фотосетов надо держать готовым к загрузки кудабы то не было.

У меня четыре ветки. Окончательно готовые и обработанные сессии - jpeg-и с релизами, текущее в процессе съемки обработки сортировки и т.д., обработанные исходнки - psd, raw. и папка с копиями обработанных, но в процессе загрузки.

Кстати обработанные уже готовые файлы занимают относительно немного места. Их даже при очень большом портфолио достаточно просто держать на одном диске, чего не скажешь об исходниках.

Спасибо большое, полезно.