forum > Основной форум
Индексация на Шаттерстоке
azotov:
--- Цитата: anatols от Февраля 03, 2009, 02:11:20 pm ---тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.
--- Конец цитаты ---
Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.
И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.
Anykeen:
--- Цитата: azotov от Февраля 03, 2009, 04:34:58 pm ---
--- Цитата: anatols от Февраля 03, 2009, 02:11:20 pm ---тут есть ещё такой момент, что индексация "наблюдается" в разное время в разных частях света. т.е. реально она проходит утром по москве, но результаты её появляются на рабочих серверах в течение суток.
--- Конец цитаты ---
Не очень понял этот момент. Web-сервер у Шаттера вроде бы один. По крайней мере имена www.shutterstock.com, www.shutterstock.fr и www.shutterstock.jp резолвятся в один и тот же адрес - 66.199.177.8. Где именно наблюдается результат индексации в разное время? Статические страницы типа "newest first" (которые наверняка пересоздаются при каждой индексации) вполне могут генерироваться для каждого сайта отдельно и иметь разную дату. А результаты поиска по ключевым словам, отсортированные по "newest first" должны генерироваться на лету из базы и одновременно изменяться на всех сайтах при изменении базы.
И как вообще можно определить реальный момент индексации? Мы ведь не можем знать, что реально проиходить на серверах с базой данных, и видим только frontend с веб-сервером.
--- Конец цитаты ---
я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый
anatols:
сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.
реальный момент определить нельзя, конечно. но замечено, что категории начинают обновляться утром по москве, и в обновление не попадают батчи залитые за несколько часов до этого.
а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).
anatols:
--- Цитата: Anykeen от Февраля 03, 2009, 05:04:40 pm ---я где-то в шатеровском форуме читал, что это вроде как процесс не одномоментный, а растянутый
--- Конец цитаты ---
ага, категории обновляются по частям
azotov:
--- Цитата: anatols от Февраля 03, 2009, 05:12:00 pm ---сервер у них не один точно, за их IP скорее всего стоит балансёр загрузки, который раскидывает нагрузку на целую ферму. коссвенным доказательством этого можно считать наличие в коде страничек-галерей шаттера коммента <!-- brought to you by 192.168.0.108 / www.shutterstock.com ny --> с разными IPшниками каждый раз.
--- Конец цитаты ---
Точно, а я и не заметил. Значит у них стоит шлюз с NAT, за кототорым локальная сетка с вебсерверами. А load balancing возможно идет через локальный DNS-сервер на шлюзе. Но содержимое серверов у них похоже все-таки одинаковое. Сейчас попробовал посмотреть на код страниц, так даже при переходе с одной страницы на другую в пределах одной категории ip-адрес в коде меняется. Если бы в момент переиндексации на разных серверах было бы разное содержимое, то при переходах по ссылкам в момент индексации был бы полный бардак.
--- Цитировать ---а про наблюдения в разное время с разных направлений -- это точно. у меня очень часто с хоста, который физически расположен в америке, обновление категорий видно раньше на пол дня, чем из дому. плюс несколько раз натыкался на то, что из дому и из офиса были разные странички (провайдеры разные).
--- Конец цитаты ---
Возможно это связано с тем, что страницы застревают в кешах прокси-серверов провайдеров. Шаттер очень опрометчиво не выставляет http-заголовок Exprire, в итоге разные прокси могут хранить закешированную страничку разное время в зависимости от своих настроек. Так что покупатели вполне могут обнаруживать обновления в категориях на шаттере с задержкой.
Навигация
Перейти к полной версии