Программа Microstock Analytics - отслеживание продаж и прибыльности фотосессий

[vm]

последняя попытка. скачал триал Windows 7 Enterprise, попробую еще его.
может просто моя версия винды с глюками.

У .Net бывают глюки, обновить его с сайна МС'а стоит. у Меня например он с месяц назад через WinUpdate отказывался даже обновляться.

я с сайта микрософта фреймворк и скачал.
поставил триальную версию вин7 - все работает. обновляю старую базу.

p.s. обновил.

- фотолийная база загрузилась, но все равно в конце выдала ошибку в лог, Error: Fotolia: Extract value failed ("<title>Video: ", ??")

- полное обновление данных по 123рф не помогло исправить неправильную дату приемки изображений. в базе так и остался 2005год и они торчат в начале при сортировке по дате. с нуля базу не обновлял, т.к. кучу времени и сил угробил на объединение одинаковых работ с разных стоков. или можно с нуля обновить и подменить только один файл базы данных и объединения и группы останутся?

- такое впечатление, что или вообще, или не все ключевые слова из фотолийных изображений участвуют в фильтре по ключевым. специально пошел по ссылке на фотолийную страничку - слово есть, а изображение после фильтра отсутствует (даже для одного слова). может это связано с тем, что на фотолии на странице с изображением не все слова отображаются и соответственно не все попадают в базу? это очень неприятная ошибка. я практически не могу искать эти работы для объединения.
кстати возможно из-за этой же ошибки практически все фотолийное портфолио не объединилось с другими такими же работами.

- всвязи с предыдущим пунктом хотелось бы в будущих версиях иметь возможность самому вызвать функцию объединения изображений с возможностью выбора похожих. надеюсь флип изображений учитывается?

- хотелось бы иметь возможность посмотреть все удаленные работы отдельно, т.к. ключевые на них отсутствуют (шаттеровские, например) и вычленить их из общей массы невозможно для объединения с похожими.

- неплохо бы для анализа иметь возможность видеть работы только с определенного стока.


p.p.s.

- сегодня обнаружил, что нет данных на графиках по продажам на фотолии за июль,август,декабрь 2009 и январь,февраль,сентябрь 2010, март 2011. хотя продажи на самом деле есть и мало отличаются от соседних месяцев.    на графике по годам данные о продажах за 2008 завышены а за остальные года занижены. общая сумма продаж процентов на 20 занижена.

- и куда лучше писать об ошибках, чтобы вы оперативнее реагировали? здесь вы не частый гость, как я понимаю.

[Andrey Popov]

я с сайта микрософта фреймворк и скачал.
поставил триальную версию вин7 - все работает. обновляю старую базу.

p.s. обновил.

Иногда помогает только переустановка .Net

- фотолийная база загрузилась, но все равно в конце выдала ошибку в лог, Error: Fotolia: Extract value failed ("<title>Video: ", ??")

Программа не смогла определить тип некоторых файлов. У вас есть векторы в портфеле?

- полное обновление данных по 123рф не помогло исправить неправильную дату приемки изображений. в базе так и остался 2005год и они торчат в начале при сортировке по дате. с нуля базу не обновлял, т.к. кучу времени и сил угробил на объединение одинаковых работ с разных стоков. или можно с нуля обновить и подменить только один файл базы данных и объединения и группы останутся?

Похоже на удаленные файлы на 123RF. В следующем обновлении будет поддержка дат для удаленных файлов.
Данные о группах храняться в самой базе, т.е. после подмены группы не сохраняться.

- такое впечатление, что или вообще, или не все ключевые слова из фотолийных изображений участвуют в фильтре по ключевым. специально пошел по ссылке на фотолийную страничку - слово есть, а изображение после фильтра отсутствует (даже для одного слова). может это связано с тем, что на фотолии на странице с изображением не все слова отображаются и соответственно не все попадают в базу? это очень неприятная ошибка. я практически не могу искать эти работы для объединения.
кстати возможно из-за этой же ошибки практически все фотолийное портфолио не объединилось с другими такими же работами.

Если есть, пришлите ссылку на пару файлов для которых не полностью скачались ключевые для Фотолии (можно на почту). Постараюсь разобраться. В логе были ошибки о ключевых?

- всвязи с предыдущим пунктом хотелось бы в будущих версиях иметь возможность самому вызвать функцию объединения изображений с возможностью выбора похожих. надеюсь флип изображений учитывается?

Флип не учитывается. Это довольно спорный момент стоит ли такие изображения учитывать как одинаковые. Да, есть такая идея сделать полуавтоматическое объединение для тех файлов которые не объединили автоматом и улучшить автоматическое объединение.

- хотелось бы иметь возможность посмотреть все удаленные работы отдельно, т.к. ключевые на них отсутствуют (шаттеровские, например) и вычленить их из общей массы невозможно для объединения с похожими.

Я работаю над этим вопросом, но в целом это довольно сложная функция

- неплохо бы для анализа иметь возможность видеть работы только с определенного стока.

Да, я тоже столкнулся с такой потребностью - довольно полезная возможность.


p.p.s.

- сегодня обнаружил, что нет данных на графиках по продажам на фотолии за июль,август,декабрь 2009 и январь,февраль,сентябрь 2010, март 2011. хотя продажи на самом деле есть и мало отличаются от соседних месяцев.    на графике по годам данные о продажах за 2008 завышены а за остальные года занижены. общая сумма продаж процентов на 20 занижена.

Попробуйте сделать полное обновление для Фотолии. Вероятно последствия зависаний и неполного обновления.

- и куда лучше писать об ошибках, чтобы вы оперативнее реагировали? здесь вы не частый гость, как я понимаю.

Можно прямо на почту, будет оперативнее. Обновления с форума не всегда приходят.

[vm]

Иногда помогает только переустановка .Net

а как полностью переустановить Net ?

- фотолийная база загрузилась, но все равно в конце выдала ошибку в лог, Error: Fotolia: Extract value failed ("<title>Video: ", ??")

Программа не смогла определить тип некоторых файлов. У вас есть векторы в портфеле?

у меня 99% векторы

- полное обновление данных по 123рф не помогло исправить неправильную дату приемки изображений. в базе так и остался 2005год и они торчат в начале при сортировке по дате.

Похоже на удаленные файлы на 123RF. В следующем обновлении будет поддержка дат для удаленных файлов.

нет, это не удаленные. их около 3600шт из ~7000, все они с признаком online, да и не удалял я никогда столько. похоже на какой-то глюк при первом обновлении. очень желательно при Force Full Update заново переписать дату приемки.

- такое впечатление, что или вообще, или не все ключевые слова из фотолийных изображений участвуют в фильтре по ключевым. специально пошел по ссылке на фотолийную страничку - слово есть, а изображение после фильтра отсутствует (даже для одного слова). может это связано с тем, что на фотолии на странице с изображением не все слова отображаются и соответственно не все попадают в базу? это очень неприятная ошибка. я практически не могу искать эти работы для объединения.
кстати возможно из-за этой же ошибки практически все фотолийное портфолио не объединилось с другими такими же работами.

Если есть, пришлите ссылку на пару файлов для которых не полностью скачались ключевые для Фотолии (можно на почту). Постараюсь разобраться. В логе были ошибки о ключевых?

ок, пришлю. нет, других ошибок кроме той, что я указал, не было.

- всвязи с предыдущим пунктом хотелось бы в будущих версиях иметь возможность самому вызвать функцию объединения изображений с возможностью выбора похожих. надеюсь флип изображений учитывается?

Флип не учитывается. Это довольно спорный момент стоит ли такие изображения учитывать как одинаковые. Да, есть такая идея сделать полуавтоматическое объединение для тех файлов которые не объединили автоматом и улучшить автоматическое объединение.

можно сделать опционально и все будут счастливы )
в векторах это сплошь и рядом при перезаливке.

- хотелось бы иметь возможность посмотреть все удаленные работы отдельно, т.к. ключевые на них отсутствуют (шаттеровские, например) и вычленить их из общей массы невозможно для объединения с похожими.

Я работаю над этим вопросом, но в целом это довольно сложная функция

если вы извлекаете данные SQL-запросами, то это просто проверка на NULL поля с ключевыми.

- и куда лучше писать об ошибках, чтобы вы оперативнее реагировали? здесь вы не частый гость, как я понимаю.

Можно прямо на почту, будет оперативнее. Обновления с форума не всегда приходят.

ок, буду дублировать на почту.

[Andrey Popov]

а как полностью переустановить Net ?

Просто удалить из программ и поставить заново. Обычно помогает.

у меня 99% векторы

Векторы тоже должны работать, но видимо некоторые отображаются по-другому. Изменю алгоритм в следующей серсии чтобы исправить эту ошибку.

нет, это не удаленные. их около 3600шт из ~7000, все они с признаком online, да и не удалял я никогда столько. похоже на какой-то глюк при первом обновлении. очень желательно при Force Full Update заново переписать дату приемки.

Дата переписывается при Force Full Update, но происходит одно из двух: либо файла нет в спике принятых изображений либо в процессе сбора статистики сервер 123RF делает логаут. Добавлю повторный логин и немного изменю алгоритм.

можно сделать опционально и все будут счастливы )
в векторах это сплошь и рядом при перезаливке.

Да, это вполне возможно.

если вы извлекаете данные SQL-запросами, то это просто проверка на NULL поля с ключевыми.

Да, но не факт что это будет работать таким образом для всех стоков. Мне в любом случае надо будет все протестировать и именно этот момент сложный.

[kirillica]

с 123 постоянно одна и таже бага. посылал рапорт уже несколько раз. а вчера и база опять обнулилась и пришлось с нуля все обновлять. версия у меня последняя, если чо, XP SP3, .NET 4.0

[Andrey Popov]

Бага с 123RF связана с тем что программа не находит даты для некоторых файлов - их нет в списке на сайте. Постараюсь исправить в следующем релизе.
Хм, пока больше ни у кого проблем с базой не было. Программа делает автоматические бекапы. Если вдруг все же полетела, можно восстановить путем переименовывания файла Backup (смотрите по дате какой самого большого размера) в файл MA_Database.dat
При запуске была ошибка о загрузке базы?

[kirillica]

Бага с 123RF связана с тем что программа не находит даты для некоторых файлов - их нет в списке на сайте. Постараюсь исправить в следующем релизе.
Хм, пока больше ни у кого проблем с базой не было. Программа делает автоматические бекапы. Если вдруг все же полетела, можно восстановить путем переименовывания файла Backup (смотрите по дате какой самого большого размера) в файл MA_Database.dat
При запуске была ошибка о загрузке базы?

я понял. он у меня иногда виснет на закрытии: пишет, сохраняю базу данных и все, not responding. я его минуты через 3-4 закрываю принудительно закрываю, и после этого показывает, что база пустая. в общем, странно все это, учитывая размер портфолио всего в 180 фоток.

[vm]

наверное было бы неплохо для проверки правильности считывания ключевых/названия отображать эти два поля в форме редактирования фото Edit File.
иногда этой информации для анализа нехватает.

[vm]

программа не считает синглы. только что проверил - разница точно на $5.70

[vm]

при обновлении шаттеровских данных выдало:

Код: [Выделить]

Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
что-то как-то много. шаттер что-то поменял или это мои локальные глюки?

[kirillica]

при обновлении шаттеровских данных выдало:

Код: [Выделить]

Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Extract value failed ("cancelPreview(this)" src="", "")
Error: Shutterstock: Extract value failed ("display: block; width: ", px")
Error: Shutterstock: Extract value failed ("px; height: ", px")
Error: Shutterstock: System.Exception: Wrong thumb width string -
   at MicrostockAnalytics.LogicShutterStock.ProcessBatch(String Html, Int32 BatchId, Int32 FileCount, DateTime UploadedOn, FileType FileType)
   at MicrostockAnalytics.LogicShutterStock.UpdateUploadDates(FileType FileType, Boolean bForceUpdate)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
Error: Shutterstock: Failed to fetch a page:  - System.UriFormatException: Invalid URI: The URI is empty.
   at System.Uri.CreateThis(String uri, Boolean dontEscape, UriKind uriKind)
   at System.Uri..ctor(String uriString)
   at System.Net.WebRequest.Create(String requestUriString)
   at MicrostockAnalytics.ThreadedDownloader.FileJobWorker.DownloadFile(String Url, Int32 Timeout)
что-то как-то много. шаттер что-то поменял или это мои локальные глюки?

не только у тебя )

[vm]

дело в том, что по совету автора я снес нафиг все версии .NET и переустановил 4ю. а вчера запустив дипмету обнаружил что она 2ю версию фреймворка требует. установил и ее. ну и эта ошибка вылезла, думал из-за этого.
теперь спокоен. 
ждем обещанной новой версии на выходных.

[urchello]

шаттер, как я понял, код страниц поменял, из-за этого видимо.

[vm]

что-то в отображении батчей поменяли. потому что моя программа статистики продажи считает а принятое нет.

[Andrey Popov]

планирую завтра выпустить обновление для шаттера с поддержкой нового формата.