forum.dolgachov.com - форум о фотобанках, стоках и продаже фотографий / microstock forum
forum => Основной форум => : Anykeen February 02, 2009, 07:22:15 PM
-
У меня есть подозрение, что я не до конца понимаю механизм приемки фоток. Думаю, я даже не один такой :bye:
Объясните плз, а то у меня страдания :pray:
Итак, мы грузим, фотки получают номера. Через какое-то время проверяются. Еще через какое-то время - индексируются, то есть попадают в базу (категории, поиск по ключевым).
Индексация, насколько я понимаю, проходит где-то раз в сутки (и иногда не проходит вообще, что есть глюк). То есть, кто ближе к индексации проверился - у того и номера новее, тот и в newest first выше, и в категориях висит до следующей индексации, радостно почесывая продажи.
так все обстоит?
а то щас смотрю, в newest first в одной категории - номера выше, чем у моих только заапрувленных фоток (батч на 75 штук, бл, сутки висел и проверили только половину :protest:). В голове от попыток это понять - каша гречневая ;)
-
Индексация, насколько я понимаю, проходит где-то раз в сутки (и иногда не проходит вообще, что есть глюк). То есть, кто ближе к индексации проверился - у того и номера новее, тот и в newest first выше, и в категориях висит до следующей индексации, радостно почесывая продажи.
именно так. У меня было, что я загрузила батч вечером перед приемкой, его приняли и он тут же проиндексировался, я стояла по newest first в самом начале.
Видимо действительно индексация проходит 1 раз в сутки, и вечером, т.к. глубокой ночью или утром проверенный батч не появляется в поисковике до самого вечера.
-
вот блин, у меня всегда проверяют ночью или рано утром, за редким исключением, и продажи через сутки почти начинаются (если вообще начинаются.. ) хотя гружу всегда в разное время... "везет" наверно :(
-
Загрузил поздно ночью в субботу (около 02.00 по Киеву, или это раннее утро воскресенья) проверили сегодня в 05.45 утра, до сих пор не проиндексированы. тоисть в портфеле я их вижу а по поиску (ник фотографа и категория) нет. Нужно пробовать, буду периодически проверять. Но мне кажется толку от этого чуть, уже обсуждалось, у них нету точного времени индексации, как и приемки.
-
Итак, мы грузим, фотки получают номера. Через какое-то время проверяются. Еще через какое-то время - индексируются, то есть попадают в базу (категории, поиск по ключевым).
Индексация, насколько я понимаю, проходит где-то раз в сутки (и иногда не проходит вообще, что есть глюк). То есть, кто ближе к индексации проверился - у того и номера новее, тот и в newest first выше, и в категориях висит до следующей индексации, радостно почесывая продажи.
так все обстоит?
именно так.
сейчас индексация идёт достаточно стабильно с 5 до 8 утра по москве каждый день. иногда прыгает и растягивается по времени (особенно по выходным), но пропусков дней практически нет.
а то щас смотрю, в newest first в одной категории - номера выше, чем у моих только заапрувленных фоток (батч на 75 штук, бл, сутки висел и проверили только половину :protest:). В голове от попыток это понять - каша гречневая ;)
у них бывают глюки, когда батчи "проваливаются" и не попадают в индекс вообще. такие батчи мучительно умирают без единой продажи и их все обычно перезаливают.
-
Загрузил поздно ночью в субботу (около 02.00 по Киеву, или это раннее утро воскресенья) проверили сегодня в 05.45 утра, до сих пор не проиндексированы. тоисть в портфеле я их вижу а по поиску (ник фотографа и категория) нет. Нужно пробовать, буду периодически проверять. Но мне кажется толку от этого чуть, уже обсуждалось, у них нету точного времени индексации, как и приемки.
в иднексы попадают фотки, принятые часа за 2-3 до индексации, не позже. индексация сегодня началась примерно в 3-4 утра по киеву.
-
Итак, мы грузим, фотки получают номера. Через какое-то время проверяются. Еще через какое-то время - индексируются, то есть попадают в базу (категории, поиск по ключевым).
Индексация, насколько я понимаю, проходит где-то раз в сутки (и иногда не проходит вообще, что есть глюк). То есть, кто ближе к индексации проверился - у того и номера новее, тот и в newest first выше, и в категориях висит до следующей индексации, радостно почесывая продажи.
так все обстоит?
именно так.
сейчас индексация идёт достаточно стабильно с 5 до 8 утра по москве каждый день. иногда прыгает и растягивается по времени (особенно по выходным), но пропусков дней практически нет.
а то щас смотрю, в newest first в одной категории - номера выше, чем у моих только заапрувленных фоток (батч на 75 штук, бл, сутки висел и проверили только половину :protest:). В голове от попыток это понять - каша гречневая ;)
у них бывают глюки, когда батчи "проваливаются" и не попадают в индекс вообще. такие батчи мучительно умирают без единой продажи и их все обычно перезаливают.
вооооот, это уже дело, пришел специалист, все грамотно объяснил ;D
спасибо, мне стало легче :beer:
непонятно только, по этому глюку с более высоким чем у меня номером, - можно уверенно сказать, что мой батч провалился? Или, так как проверку завершили в 11 вечера, можно считать, что это сравнительно удачное время (6 часов до индексации) и надеяться, что утром таки обнаружу его в категориях?
-
сейчас индексация идёт достаточно стабильно с 5 до 8 утра по москве каждый день. иногда прыгает и растягивается по времени (особенно по выходным), но пропусков дней практически нет.
если б было б так мой ночной батч проиндексировался, а не валялся до вечера.. вот вечером индексацию и наблюдаю
-
Загрузил поздно ночью в субботу (около 02.00 по Киеву, или это раннее утро воскресенья) проверили сегодня в 05.45 утра, до сих пор не проиндексированы. тоисть в портфеле я их вижу а по поиску (ник фотографа и категория) нет. Нужно пробовать, буду периодически проверять. Но мне кажется толку от этого чуть, уже обсуждалось, у них нету точного времени индексации, как и приемки.
в иднексы попадают фотки, принятые часа за 2-3 до индексации, не позже. индексация сегодня началась примерно в 3-4 утра по киеву.
:beer: Может так оно и есть, мои до сих пор не проиндексированы. Канена я до 5 утра сидеть и проверять не буду, посмотрим завтра с утра
-
у них бывают глюки, когда батчи "проваливаются" и не попадают в индекс вообще. такие батчи мучительно умирают без единой продажи и их все обычно перезаливают.
Жутко так звучит. :o
Я вот не слежу особо за процессом индексации, просто каждый день новые фото заливаю... А часто бывают такие страшные случаи мучительных смертей батчей?
-
ага, таки оккупировал я вторую страницу раздела технологии (если по 25)
на пятой нашел фото девушки Льва, которую он "с порога обработал", вернувшись ;D
-
последнее время проваливающиеся батчи стали довольно часто наблюдаемым явлением :(
если в индексе появились фотки больше ваших по номерам, а ваших нет, то скорее всего ваши там уже и не появятся.
-
если б было б так мой ночной батч проиндексировался, а не валялся до вечера.. вот вечером индексацию и наблюдаю
тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.
скажите категорию, в которой лежит ваш батч, я покажу логи индексации по ней
-
последнее время проваливающиеся батчи стали довольно часто наблюдаемым явлением :(
если в индексе появились фотки больше ваших по номерам, а ваших нет, то скорее всего ваши там уже и не появятся.
ну не знаю... в воскресенье приняли ночью, в понедельник мои фотки не проиндексировались хотя по номерам были и более новые в категориях, сегодня вот появились и продаются себе нормально
-
ну значит повезло :)
у меня чаще наоборот -- не появляются и не продаются :(
-
ну значит повезло :)
у меня чаще наоборот -- не появляются и не продаются :(
у меня компромиссный вариант - удачно появились и воообще не продаются :lol:
кажется, я знаю, где собака зарыта :smoke:
-
последнее время проваливающиеся батчи стали довольно часто наблюдаемым явлением :(
если в индексе появились фотки больше ваших по номерам, а ваших нет, то скорее всего ваши там уже и не появятся.
Как вообще следить за индексированием?
Возможно вопрос неуместен, но не задавался я этой проблемой. :)
-
ну как следить -- по номерам первых по newest first фоток в категориях
-
Мои проиндексировались, пока продажа 1. Зависит еще в какой категории, и какое сейчас событие актуально. Мое печенье по новым сейчас в 3 ряду сверху, валентинская фотка в категории праздники почти в конце страницы.
-
ну как следить -- по номерам первых по newest first фоток в категориях
Так-так. Ага. Уже смотрю.
А умирают сразу целые батчи? Или могут и отдельные фото из партии?
-
тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.
Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.
И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.
-
тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.
Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.
И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.
я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый
-
сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.
реальный момент определить нельзя, конечно. но замечено, что категории начинают обновляться утром по москве, и в обновление не попадают батчи залитые за несколько часов до этого.
а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).
-
я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый
ага, категории обновляются по частям
-
сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.
Точно, а я и не заметил. Значит у них стоит шлюз с NAT, за кототорым локальная сетка с вебсерверами. А load balancing возможно идет через локальный DNS-сервер на шлюзе. Но содержимое серверов у них похоже все-таки одинаковое. Сейчас попробовал посмотреть на код страниц, так даже при переходе с одной страницы на другую в пределах одной категории ip-адрес в коде меняется. Если бы в момент переиндексации на разных серверах было бы разное содержимое, то при переходах по ссылкам в момент индексации был бы полный бардак.
а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).
Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.
-
сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.
Точно, а я и не заметил. Значит у них стоит шлюз с NAT, за кототорым локальная сетка с вебсерверами. А load balancing возможно идет через локальный DNS-сервер на шлюзе. Но содержимое серверов у них похоже все-таки одинаковое. Сейчас попробовал посмотреть на код страниц, так даже при переходе с одной страницы на другую в пределах одной категории ip-адрес в коде меняется. Если бы в момент переиндексации на разных серверах было бы разное содержимое, то при переходах по ссылкам в момент индексации был бы полный бардак.
а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).
Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.
я так понимаю, до попытки хакнуть Шаттер остается совсем немного? :popcorn:
-
"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?
-
"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?
я ж не сказал "уронить". я сказал "хакнуть". чтобы например тихо и незаметно прописать какую-нибудь приоритетную индексацию какому-нибудь прокси ip для хороших людей с форума :nail:
ну вообще это шутка была. :tongue2:
-
"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?
я ж не сказал "уронить". я сказал "хакнуть". чтобы например тихо и незаметно прописать какую-нибудь приоритетную индексацию какому-нибудь прокси ip для хороших людей с форума :nail:
ну вообще это шутка была. :tongue2:
а может еще алгоритм начисления расширенных? :2funny:
-
Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.
да, тоже вариант, про прозрачные прокси я не подумал как-то. хотя тогда странно, что меняется айпишник в коде страницы.
а вообще вполне может быть, что разные направления (ну, например америку/европу/остальных) их внешний шлюз раскидывает на определённый набор серверов каждый раз. ну, например, для приоритетного обслуживания америки.