Индексация на Шаттерстоке

[Anykeen]

ну значит повезло
у меня чаще наоборот -- не появляются и не продаются

у меня компромиссный вариант - удачно появились и воообще не продаются 

кажется, я знаю, где собака зарыта 

[acidgrey]

последнее время проваливающиеся батчи стали довольно часто наблюдаемым явлением
если в индексе появились фотки больше ваших по номерам, а ваших нет, то скорее всего ваши там уже и не появятся.

Как вообще следить за индексированием?
Возможно вопрос неуместен, но не задавался я этой проблемой. 

[anatols]

ну как следить -- по номерам первых по newest first фоток в категориях

[sosha]

Мои проиндексировались, пока продажа 1. Зависит еще в какой категории, и какое сейчас событие актуально. Мое печенье по новым сейчас в 3 ряду сверху, валентинская фотка в категории праздники почти в конце страницы.

[acidgrey]

ну как следить -- по номерам первых по newest first фоток в категориях

Так-так. Ага. Уже смотрю.
А умирают сразу целые батчи? Или могут и отдельные фото из партии?

[azotov]

тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.

Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.

И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.

[Anykeen]

тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.

Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.

И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.

я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый

[anatols]

сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.

реальный момент определить нельзя, конечно. но замечено, что категории начинают обновляться утром по москве, и в обновление не попадают батчи залитые за несколько часов до этого.

а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).

[anatols]

я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый

ага, категории обновляются по частям

[azotov]

сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.

Точно, а я и не заметил. Значит у них стоит шлюз с NAT, за кототорым локальная сетка с вебсерверами. А load balancing возможно идет через локальный DNS-сервер на шлюзе. Но содержимое серверов у них похоже все-таки одинаковое. Сейчас попробовал посмотреть на код страниц, так даже при переходе с одной страницы на другую в пределах одной категории ip-адрес в коде меняется. Если бы в момент переиндексации на разных серверах было бы разное содержимое, то при переходах по ссылкам в момент индексации был бы полный бардак.

а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).

Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.

[Anykeen]

сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.

Точно, а я и не заметил. Значит у них стоит шлюз с NAT, за кототорым локальная сетка с вебсерверами. А load balancing возможно идет через локальный DNS-сервер на шлюзе. Но содержимое серверов у них похоже все-таки одинаковое. Сейчас попробовал посмотреть на код страниц, так даже при переходе с одной страницы на другую в пределах одной категории ip-адрес в коде меняется. Если бы в момент переиндексации на разных серверах было бы разное содержимое, то при переходах по ссылкам в момент индексации был бы полный бардак.

а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).

Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.

я так понимаю, до попытки хакнуть Шаттер остается совсем немного? 

[k.gray]

"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?

[Anykeen]

"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?

я ж не сказал "уронить". я сказал "хакнуть". чтобы например тихо и незаметно прописать какую-нибудь приоритетную индексацию какому-нибудь прокси ip для хороших людей с форума 


ну вообще это шутка была. 

[rusak]

"я так понимаю, до попытки хакнуть Шаттер остается совсем немного?" - типун тебе на язык. Что мы без Шатера делать будем?

я ж не сказал "уронить". я сказал "хакнуть". чтобы например тихо и незаметно прописать какую-нибудь приоритетную индексацию какому-нибудь прокси ip для хороших людей с форума 


ну вообще это шутка была. 

а может еще алгоритм начисления расширенных? 

[anatols]

Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.

да, тоже вариант, про прозрачные прокси я не подумал как-то. хотя тогда странно, что меняется айпишник в коде страницы.
а вообще вполне может быть, что разные направления (ну, например америку/европу/остальных) их внешний шлюз раскидывает на определённый набор серверов каждый раз. ну, например, для приоритетного обслуживания америки.