forum.dolgachov.com - форум о фотобанках, стоках и продаже фотографий / microstock forum

forum => Основной форум => : Serge.Black November 03, 2011, 05:22:47 PM

: Статистика Shutterstock - анализируем базу
: Serge.Black November 03, 2011, 05:22:47 PM
Добрый день, коллеги.

Разрешите вам представить один инструмент. Возможно вы его уже видели, но не факт что все.
Надеюсь, он будет полезен вам как для анализа конкурентов, так и рынка в целом.

Итак, статистика Shutterstock - http://www.microstocktime.ru/tool/stats/ss/

Что мы знаем и можем анализировать:

Что мы умеем:

Сервис постоянно развивается.

Буду рад выслушать как замечания, так и предложения.
: Re: Статистика Shutterstock - анализируем базу
: kvadrat November 03, 2011, 06:12:25 PM
Прикольная статистика  :appl: Можно оценивать, что берут в базу без проблем.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 03, 2011, 06:23:20 PM
kvadrat - каким образом?
: Re: Статистика Shutterstock - анализируем базу
: kvadrat November 03, 2011, 06:30:21 PM
kvadrat - каким образом?
Ну хотя бы примерно можно оценить, если у иллюстратора приняли за последний месяц 500 гранжевых бэкраундов - можно предположить, что тема ещё проходная. Хорошо бы конечно ещё знать, сколько отреджектили при этом, но это нереально.

p.s. Интересно, долго вы базу контребьютеров по id парсили с шаттера?
: Re: Статистика Shutterstock - анализируем базу
: rusak November 03, 2011, 06:44:24 PM
прикольно. всегда хотел на шаттере посмотреть как на дримсе. :appl:
: Re: Статистика Shutterstock - анализируем базу
: kirillica November 03, 2011, 06:55:01 PM
меня не находит  ;D

з.ы. вижу, вижу:
:
Всего в базе 33 405 авторов. 10.22% от всех зарегистрированных.
: Re: Статистика Shutterstock - анализируем базу
: Shelda November 03, 2011, 07:10:10 PM
Я на 5223 месте:)) :bugaga:
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 03, 2011, 07:19:35 PM
kvadrat, да, затратное по времени занятие. айс, к примеру, 3-и сутки парсится, пока еще процентов 15 авторов вычислено.

kirillica, если зарегистрированы после 15 сентября, то вас в базе нашей нет, а 10.22% - это по отношению к заявленному числу авторов SS, т.е.лишь 10.22% после регистрации имеют работы в портфолио.

rusak, кстати, дримсовская статистика уже не доступны. увы.
: Re: Статистика Shutterstock - анализируем базу
: vm November 03, 2011, 07:23:40 PM
вопрос автору. база шаттера парсится с включенным фильтром SafeSearch?
а то по моим данным некоторые портфолио занижены на несколько тыщ штук. )
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 03, 2011, 07:47:27 PM
vm, возможно, робот видит стандартную страницу.
можно примеры заниженных портфолио?
: Re: Статистика Shutterstock - анализируем базу
: vm November 03, 2011, 07:50:06 PM
пожалуйста. у Льва 595 стр. по 50 и 620 стр. с выключенным фильтром.

20е место в вашей таблице.

робот видит стандартную страницу.

так просто добавьте параметр в хтмл-запрос: &safesearch=0
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 03, 2011, 08:13:32 PM
vm, да, все же по умолчанию, робот видел цифры с включенным safesearch.
при следующем срезе учтем. жаль что для некоторых авторов, как Лев, в статистике мы увидим нереальный прирост за неделю. надо подумать как этого избежать.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 07, 2011, 06:00:44 PM
Стали доступны обновленные данные: http://www.microstocktime.ru/tool/stats/ss/

Были добавлены скрытые безопасным поиском цифры. Стало известно, что как минимум 2 733 автора на Shutterstock имеют в сумме 53 422 неприличных изображения, которые по умолчанию скрыты от покупателей.
: Re: Статистика Shutterstock - анализируем базу
: kirillica November 07, 2011, 06:14:53 PM
а меня по-прежнему в базе нет   :shuffle:
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 07, 2011, 08:04:38 PM
kirillica, вы бы ответили когда зарегистрировались...
: Re: Статистика Shutterstock - анализируем базу
: kirillica November 07, 2011, 08:06:54 PM
30.07, 12.08 - айди апрувд, 20.09 - сдан экзамен. какое из этих чисел нужно?
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 07, 2011, 08:29:58 PM
kirillica я правильно понимаю, что экзамен сдан 20 сентября этого года?
: Re: Статистика Shutterstock - анализируем базу
: kirillica November 07, 2011, 08:58:59 PM
kirillica я правильно понимаю, что экзамен сдан 20 сентября этого года?
именно
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 07, 2011, 09:38:35 PM
kirillica остается ждать. я в размышлениях как красиво вписать новых )
ведь важно не быть там, а иметь возможность оценивать конкурентов.
: Re: Статистика Shutterstock - анализируем базу
: anatols November 08, 2011, 11:59:42 AM
а статистика за неделю и за месяц -- это скользящие значения или от начала прошлой недели/месяца?
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 09, 2011, 12:15:47 AM
anatols, скользящее. Вы можете зайти на любую страницу автора, например Льва - http://www.microstocktime.ru/tool/stats/ss/user/64260/ или свою и там четко видны даты. Месяц округляется это 4 недели.

P.S.: Добавлен фильтр. Теперь можно вывести отдельно фотографов или иллюстраторов. Часто специализация не чистая, скажем автор имеет 98-99% фото и 1-2% иллюстраций. Поэтому введены градации, 100%, 90%+, 50%+.

Короче, смотрим статистику shutterstock (http://www.microstocktime.ru/tool/stats/ss/), комментируем )
: Re: Статистика Shutterstock - анализируем базу
: Kondor83 November 09, 2011, 01:29:14 AM
А как получилось, что 2% моего портфолио - иллюстрации? Нет ни одной у меня.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 09, 2011, 10:32:44 AM
Kondor83, а примените сами фильтр к себе, посмотрите что выдает шаттер.
я ж не знаю вашего портфеля.
: Re: Статистика Shutterstock - анализируем базу
: anatols November 09, 2011, 02:16:15 PM
Serge.Black, если интересно, могу поделиться скриптом, который определяет, сколько фотка провисела на проверке.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 09, 2011, 08:57:20 PM
anatols любую можно проверить или только свои пока они висят?
: Re: Статистика Shutterstock - анализируем базу
: anatols November 09, 2011, 09:09:08 PM
любую, любого автора, но не старше, примерно, месяца
http://2xsamara.com/ssdd/getpicdates.php
: Re: Статистика Shutterstock - анализируем базу
: vitcom November 09, 2011, 09:36:30 PM
сделайте лучше сортировку авторов по категориям - это по интереснее будет
: Re: Статистика Shutterstock - анализируем базу
: Kondor83 November 10, 2011, 04:14:27 PM
Kondor83, а примените сами фильтр к себе, посмотрите что выдает шаттер.
я ж не знаю вашего портфеля.

В смысле - на шаттере посмотреть, нет ли у меня иллюстраций? Естественно, нет! Если бы нашлись - надо было бы бежать к психиатру, жаловаться на провалы в памяти :angel9:
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 10, 2011, 05:07:41 PM
Kondor83 я говорил не о том, что нужно вспомнить, а то как интерпретирует шаттер. проверил сам, сейчас шаттер не выдает иллюстраций у вас, но видно выдавал в фильтре.

вот на вскидку, фильтр примененный к портфолио Юрия Аркурса - http://www.shutterstock.com/cat.mhtml?lang=en&search_source=search_form&version=llv1&anyorall=all&safesearch=1&searchterm=&illustrations=on&vectors=on&search_group=&orient=&search_cat=&searchtermx=&photographer_name=Yuri+Arcurs&people_gender=&people_age=&people_ethnicity=&people_number=&commercial_ok=&color=&show_color_wheel=1&secondary_submit=Search
как видим там есть фото. и это повсеместно. шаттер относит порой фото к иллюстрациям и наоборот. с этой погрешностью ничего не сделать.

vitcom когда-нибудь в будущем. не простая это задача.
: Re: Статистика Shutterstock - анализируем базу
: vm November 10, 2011, 05:10:49 PM
В смысле - на шаттере посмотреть, нет ли у меня иллюстраций? Естественно, нет!

имеется ввиду зайти в свое портфолио, кликнуть на "search within this portfolio", отметить чекбоксы Illustrations и Vectors и нажать кнопку Search, которая слева.

у меня, например,  шаттер считает фотографиями кучу иллюстраций.  :dontknow:

vitcom когда-нибудь в будущем. не простая это задача.

я думаю это вообще не реальная задача, т.к. данные постоянно обновляются и следить за всеми категориями полный мрак по временным затратам.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 10, 2011, 05:46:35 PM
vm есть всякие идеи. например обновлять раз в квартал или по запросу.
сейчас та же информация по соотношению фото и иллюстраций меняется не каждую неделю.
: Re: Статистика Shutterstock - анализируем базу
: Kondor83 November 10, 2011, 07:08:00 PM

имеется ввиду зайти в свое портфолио, кликнуть на "search within this portfolio", отметить чекбоксы Illustrations и Vectors и нажать кнопку Search, которая слева.

у меня, например,  шаттер считает фотографиями кучу иллюстраций.  :dontknow:


Так и делал - по нулям :)
: Re: Статистика Shutterstock - анализируем базу
: vm November 10, 2011, 07:51:51 PM
vm есть всякие идеи. например обновлять раз в квартал или по запросу.

по запросу я выкладывал здесь свою программу. даже первые 5-10 стр. она обрабатывает очень долго.
смысл был бы, если бы эти данные уже были и любой пользователь их мгновенно получал. я только за. )
: Re: Статистика Shutterstock - анализируем базу
: vitcom November 10, 2011, 08:17:51 PM
vitcom когда-нибудь в будущем. не простая это задача.

Ничего сложного не вижу - объем большой просто - у меня у самого база в 2 мил. популярных записей с этого стока которую я анализирую и использую в своих целях :))
: Re: Статистика Shutterstock - анализируем базу
: vitcom November 10, 2011, 08:31:20 PM
я вот только не понимаю, зачем вам вся эта база и все эти данные? какая главнaя цель сбора всех этих данных?
: Re: Статистика Shutterstock - анализируем базу
: vm November 10, 2011, 09:35:25 PM
а какая цель данных по категориям?
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 10, 2011, 10:14:12 PM
vm у вас парсится информация о всех картинках. А тут нужно будет выдрать только одну строку со страницы, по идее быстрее.
Но когда дойдем до реализации будет виднее, что да как.

vitcom главная цель видеть движение конкурентов и рынка.
Если вы не понимаете что делать с информацией - не пользуйтесь ей ) да и как заметили, зачем тогда вам категории. А если еще и своя база есть, да и не сложно там анализировать - то вам и карты в руки )

Кстати, как-то Лев даже опрос проводил, давно правда, кто сколько грузит. Теперь не нужен опросов, есть данные. Довольно точные.
: Re: Статистика Shutterstock - анализируем базу
: vm November 10, 2011, 10:31:05 PM
vm у вас парсится информация о всех картинках. А тут нужно будет выдрать только одну строку со страницы, по идее быстрее.

я забыл, что в моей программе для каждого нового автора на странице подсчитывается его портфолио. поэтому и долго.
а когда автор в базе уже есть, то парсить все это конечно же не нужно. тогда да, это более чем реально.

p.s. пожалуй сделаю возможность отключения подсчета количества работ для быстроты. спасибо за наводку. )
: Re: Статистика Shutterstock - анализируем базу
: anatols November 11, 2011, 06:19:53 PM
А можно еще добавить вытягивание процентного соотношения эдиториала и коммерческих снимков в портфолио? А то это ж разные весовые категории.
Вот там в начале списка по работам есть Helga Esteb с 63 тысячами репортажных снимков. Странно было бы её сравнивать с Аркурсом и его 53 тысячами.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 28, 2011, 02:19:33 PM
anatols, сделаем и это, но чуть позже, сложно охватить все сразу.

А пока сообщаю всем, чтов статистике обновились цифры.
На странице автора добавлен второй график, теперь кроме кривой роста портфолио, наглядно видно сколько автор грузит.

Надеюсь это полезно )

Смотрим:
http://www.microstocktime.ru/tool/stats/ss/
: Re: Статистика Shutterstock - анализируем базу
: vitcom November 28, 2011, 06:43:28 PM

Смотрим:
http://www.microstocktime.ru/tool/stats/ss/

а как может быть -674?  Это глюки стока - я на 99% уверен что никто ничего не удалял.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black November 29, 2011, 03:19:22 AM
vitcom - это глюк шаттера, когда он то уменьшал, то дублировал картинки в портфелях.
но вообще в жизни всякое бывает, портфели чистят )
: Re: Статистика Shutterstock - анализируем базу
: carrida November 29, 2011, 10:12:20 PM
кстати много таких с минусами, как я посмотрю
: Re: Статистика Shutterstock - анализируем базу
: carrida November 29, 2011, 10:16:31 PM
Ориентация: горизонтальных работ - 42%, вертикальных - 58%.

а квадраты куда относятся?
: Re: Статистика Shutterstock - анализируем базу
: carrida November 29, 2011, 10:19:09 PM
любую, любого автора, но не старше, примерно, месяца
http://2xsamara.com/ssdd/getpicdates.php

а какой в этом смысл? я первого засланца отправил в понедельник, приняли все в четверг. при этом я в четверг тоже грузил, у них получается время проверки - несколько часов. на самом деле проверка заняла 3 дня. а где искать этого засланца у других авторов - непонятно.
: Re: Статистика Shutterstock - анализируем базу
: Serge.Black January 10, 2012, 12:35:03 AM
первое обновление 2012 года прошло успешно!
спасибо всем кто присылает отзывы и рекомендации по улучшению.