Перейти на главную страницу форума Перейти на главную страницу форума
Перейти на главную страницу форума Перейти на главную страницу форума WILMARK - ПРОДВИЖЕНИЕ, СОЗДАНИЕ, ПОДДЕРЖКА САЙТОВ

мегапоиск библиотека фильмотека каталог фэнтези & фантастики читательский профиль Кубики Архивы Кубикуса

реальные миры фэнтези & фантастики
мегапоиск библиотека фильмотека каталог фэнтези & фантастики читательский профиль Кубики Архивы Кубикуса


Последние 10 сообщений | Активные форумы | Тематические разделы | Хранители | Инквизиторы | Правила | Поиск | FAQ
Логин:
Пароль:
Запомнить  
Забыли пароль?
Регистрация »
 
  Все форумы
  1. Читательский профиль
  Проблемы больших профилей
      Версия для печати
 
Автор Предыдущая тема Темы Следующая тема  
Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 26 Ноябр 2004 :  00:30:36  Показать инфо об авторе Посмотреть читательский профиль  Ответить с цитатой
За прочими заботами мы как-то пропустили тот факт, что у одного из нас Читательский Профиль превысил 1000 произведений! АММ, я тебя поздравляю!!! Так держать!

Это событие по меньшей мере знаковое для всего проекта. Где-то тут рядом я уже писал о 600 книгах в Профилях - и не более... Оказалось, я был более чем скромен...

В итоге на сегодняшний день у нас есть определённое количество Хранителей с Профилями из нескольких сот произведений. Вершина списка выглядит так:

1 AMM 1059
2 OlegZK-Krr94 889
3 Andrew 749
4 andros 598
5 Кубикус 520
6 Bolverk 371
7 osa 328
8 Жестокая Реальность 316
9 Eki-Ra 301
10 XMbIPb!!! 277
11 Aditi 275
12 Mat 257
13 vb 255
14 Ног Неотвратимый 244
15 Лёлик 221
16 El 212
17 Dina 202
18 JahIthBer 194
19 lustra 191
20 MixShlp 188
21 chymera 185
22 The Best 180
23 Баранкин 172
24 Тия 167
25 dlimon 166
26 Alexandrina 165
27 Overdyer 154
28 Dimas 148
29 gmoorg 145
30 anton748974 144
31 Francuz 144
32 irbis 142
33 wicked-falka 141
34 Nina 141
35 Nosuha 137
36 Яна 134
37 Yan_S 134
38 ales 132
39 XANDRA 129
40 Lionella 128

Однако такое явление массовости порождает новые проблемы. О них-то я и хочу поговорить:

1. Пустые строки в профилях.
Мы пока ещё не можем удалить из профиля однажды занесённое туда произведение. И даже если мы занесли его в профиль абсолютно верно (а ведь бывают и ошибки!) - нет гарантии, что оно со временем не превратится в пустую строку. Причин тому может быть несколько, но самая главная из них - удаление запараллеленной книжки из базы. Обычно библиотекари удаляют ту из двух по-разному названных ипостасей одной книжки, которая имеет меньше оценок в профилях - но не исключено, что она будет как раз в вашем профиле...

2. Невозможность использования механизма "Что почитать"
Слишком сложен стал алгоритм расчёта - и если раньше ощибка сервера выдавалась через раз, то сейчас мы видим постоянно:
-------------------------------
ADODB.Recordset error '800a0cc1'

Item cannot be found in the collection corresponding to the requested name or ordinal.

/showtext.asp, line 36
-------------------------------
(Может быть, это видят все, а может - только владельцы крупных профилей...)
В любом случае, с этим надо что-то делать...

3. Нет возможности оффлайного вывода/заполнения/редактирования профиля - а это создает главную проблему для заполнения профиля тем, у кого медленный либо ограниченный интернет...


Есть ли у кого мысли и предложения по всем этим вопросам?


С уважением, Andrew.

lonli
Мастер Слова


Belarus
2184 сообщений
Послано - 26 Ноябр 2004 :  01:20:54  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
А у меня скромные 9 произведений ! :) Все никак не найду достаточно времени чтобы занести...


andros
Хранитель


Russia
959 сообщений
Послано - 26 Ноябр 2004 :  11:03:48  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Цитата:
самая главная из них - удаление запараллеленной книжки из базы. Обычно библиотекари удаляют ту из двух по-разному названных ипостасей одной книжки, которая имеет меньше оценок в профилях

Для подобных случаев обычно применяется алгоритм замещения/объединения уникальных кодов (в данном случае - уникального кода произведения). Алгоритм заключается в следующем: 1) Ищутся ссылки на замещаемое/удаляемое произведение во всех таблицах базы данных (в частности - в таблице, отвечающей за профиль) и замещаются на ссылки запараллеленной книжки. 2) Удаляется (или переводится в разряд неактивных, если это возможно) замещаемое произведение.
Да, алгоритм может работать корректно, если только, ссылки на произведение действительно уникальны.



Admin
Администратор проекта


Россия
657 сообщений
Послано - 26 Ноябр 2004 :  11:33:24  Посмотреть инфо об авторе  Посетить домашнюю страницу Admin Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Появлявшаяся ошибка в механизме "Что почитать?" - это не проблема больших профилей, а именно ошибка в коде, которая возникла из-за некоторых модернизаций на сайте. Сейчас она исправлена, подбором рекомендаций можно пользоваться!

Всегда для Вас, Администратор.

andros
Хранитель


Russia
959 сообщений
Послано - 26 Ноябр 2004 :  16:30:08  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Цитата:
Сейчас она исправлена

Разве?
У меня она вылезает и сейчас. Правда не всегда. Я сейчас погонял немного программку: похоже, что ошибка лезет, если список предложенных произведений превышает 220-250 штук.

Текст ошибки:

Цитата:
Microsoft OLE DB Provider for ODBC Drivers error '80040e07'

[Microsoft][ODBC SQL Server Driver][SQL Server]Syntax error converting the varchar value '101+182+222' to a column of data type int.

/profile_advice.asp, line 189




Ведьмак
Мастер Слова


Россия
2681 сообщений
Послано - 30 Янв 2008 :  23:32:24  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
НЕ РАБОТАЕТ!!!
===================
# Минимальное количество общих прочитанных произведений: 50
# Совпадение оценок произведений (нижняя граница в %): 82
# Критерий оценки: общее впечатл
# Фильтр по темам: все
# Фильтр по объему: роман
=================
Microsoft OLE DB Provider for ODBC Drivers error '80040e31'

[Microsoft][ODBC SQL Server Driver]Timeout expired

/profile_advice.asp, line 175


Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 31 Янв 2008 :  18:02:25  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Ну да, не работает... А когда он работал в последний раз?
Насколько я понимаю, проблема на стороне хостера. Это cамое "timeout expired" появляется постоянно просто потому, что сервер хостера не в силах справиться с одновременно возложенными на него задачами. Аминь.

Впрочем, иногда рандомно (обычно в часы малой активности русского сегмента сети) оно всё же работает...

Поправьте меня, если я не прав.

upd:
А что нам мешает написать
а) программный модуль оффлайн-заполнения профиля
б) программный модуль получения рекомендаций оффлайн?
Имхо, это единственный способ хоть как-то обойти ограничение работоспособности сервера хостера.

Впрочем, чего это я... Я это ещё в 2004-м в первый раз предлагал )))


С уважением, Andrew.


Отредактировано - Andrew on 31 Янв 2008 18:05:15

SeaJey
Мастер Слова


Russia
2974 сообщений
Послано - 31 Янв 2008 :  18:48:32  Посмотреть инфо об авторе  Посетить домашнюю страницу SeaJey Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Вчера, дома поигрался немного с профилем.
36 внесенных книг - 5 книг совпадение, жанр - космическая, работает.
60-70 внесенных книг - "timeout expired" каждый раз.

Сегодня, книг столько же, совпадения 10-30 книг, форма роман, разные жанры - периодически отваливается.

Из-под Mozilla Firefox не могу занести книги в игнор.

Цитата:
Насколько я понимаю, проблема на стороне хостера. Это cамое "timeout expired" появляется постоянно просто потому, что сервер хостера не в силах справиться с одновременно возложенными на него задачами. Аминь.
Впрочем, иногда рандомно (обычно в часы малой активности русского сегмента сети) оно всё же работает...

Скорее просто сервер не справляется. Зато когда народу нет никого - он тебе больше внимание уделить может.

А вообще мысли такие.

1. Сделать быстрый фикс - повысить этот самый "timeout expired". Решение временное и ненадёжное, просто чтобы хоть как-то всё работало.
2.1 Оптимизировать запросы в бд, выполняемые во время расчета рекомендаций.
2.2 Индексация результатов расчёта. Алексей обьяснил, что сейчас при каждом расчете результаты предыдущих расчетов никак не учитываются.
3. Модернизация сервера.

В идеале - всё сразу.
Минус только один - на 3тий пункт нужны деньги, на 2-ой свободное время программистов, а по сути те же деньги.



____________________________________

Да-да, давайте есть пчелу мирно! (с)

Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 31 Янв 2008 :  19:06:54  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
SeaJey, угу, мы всё это уже проходили в 2004-м, 2005-м и 2006-м последовательно.

Только что поигрался с профилем.
Мой профиль - около 800 произведений.
Количество общих прочитанных книг - 30
Минимальный процент совпадений - 90
Остальное - по умолчанию.
Эти параметры - те, которые мне выдают для рекомендаций одного-единственного (!)пользователя, который мне может рекомендовать книги! Так вот, при попытке получить рекомендации от этого единственного пользователя - вящая ошибка timeout expired.
Ужесточить условия я не могу - мне просто некому будет книги рекомендовать.

Резюме: читательский профиль в виде, существующем последние 4 года, лично для меня оказался полностью бесполезен с момента "забивания" туда 300 тайтлов. (именно тогда он перестал мне хоть что-то рекомендовать) Сейчас же, как говорит SeaJey, граница "бесполезности" существенно снизилась - до 50-60 книг.

С уважением, Andrew.

SeaJey
Мастер Слова


Russia
2974 сообщений
Послано - 01 Фвр 2008 :  00:13:23  Посмотреть инфо об авторе  Посетить домашнюю страницу SeaJey Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Цитата:
Сейчас же, как говорит SeaJey, граница "бесполезности" существенно снизилась - до 50-60 книг.

Нет, я пока до лимита не дошёл - 126 книг в профиле, 30 тайтлов, 80 % по научной фантастике - выдал две страницы рекомендаций.
Andrew, попробуй с более жесткими фильтрами поиграться.

Но вообще, тему не зря подняли - нужно собрать как можно больше багов и фичареквестов перед тем, как браться за профиль всерьёз.

По субъективным впечатлениям инсайдера - это будет месяца через два.

Опять же, по инсайдерской информации, в ближайших планах подписка на тему без оставления поста, исправления работы кнопок-тэгов под всеми основными браузерами.

ЗЫ
В субботу к Эки идешь?


____________________________________

Да-да, давайте есть пчелу мирно! (с)

Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 01 Фвр 2008 :  17:57:21  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
SeaJey
Цитата:
Andrew, попробуй с более жесткими фильтрами поиграться.
Куда ж ещё жёстче-то, а?
Я ж говорю - при параметрах 30 на 90 мне может дать совет "Что почитать" один-единственный владелец профиля! И всё равно time expired... Если я их (эти условия) ещё ужесточу - то вообще никого не останется! )))
Тут дело на самом деле не в параметрах - дело в общих размерах сравниваемых профилей. Мой - не самый, но один из самых громоздких. Сравнить два-три небольших профиля - и получить рекомендации легко, но даже если тебе в рекомендатели попадает один из объёмных профилей - то сразу заметно торможение... А если и у тебя самого объёмный профиль - и ты ищешь рекомендаций - то дело вообще хреново. Даже "читать-не читать" (кнопка с весами) - и то часто ошибку выдаёт...
Поверь мне, я за эти годы уже наигрался с фильтрами всласть... ;-)

PS
Иду.

С уважением, Andrew.


Отредактировано - Andrew on 01 Фвр 2008 17:58:34

El
Мастер Слова


Россия
6207 сообщений
Послано - 16 Апр 2008 :  21:35:38  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Народ, а потестируйте, плз, у кого как сейчас профиль работает?
И при каких ограничениях перестает?

При количестве 1130 книг,
80% совпадения,
20 общих прочитанных книг
У меня работает... А при 10 общих - уже нет.


SeaJey
Мастер Слова


Russia
2974 сообщений
Послано - 16 Апр 2008 :  22:06:47  Посмотреть инфо об авторе  Посетить домашнюю страницу SeaJey Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
206 в профиле,
80% совпадений,
спёкся на 5ти


____________________________________

Да-да, давайте есть пчелу мирно! (c)

Joda
Мастер Слова



1068 сообщений
Послано - 17 Апр 2008 :  11:24:53  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
230 произведений
80% совпадений,

20 общих - скрипт отработал, но совпадений нет
15 общих - скрипт честно отработал, дал результаты
10 общих - скрипт честно отработал, дал результаты
5 общих - скрипт отработал, но сдох:
Microsoft OLE DB Provider for ODBC Drivers error '80040e31'

[Microsoft][ODBC SQL Server Driver]Timeout expired

/profile_advice.asp, line 175



Отредактировано - Joda on 17 Апр 2008 11:28:40

Фдучинар
Мастер Слова


Ukraine
1893 сообщений
Послано - 17 Апр 2008 :  17:10:54  Посмотреть инфо об авторе  Посетить домашнюю страницу Фдучинар Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
478 произведений
80% совпадений,

Перестал работать на 5 общих.

Carpe diem

Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 17 Апр 2008 :  18:21:19  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
830 произведений в профиле.
80% совпадений
10 общих книг

Первую страницу отработал правильно - показал и перечень экспертов-Хранителей, и рекомендуемые произведения. На второй странице уже споткнулся - произведения показать не смог. Обновления не помогают (он что там, для каждой страницы рекомендация заново всё рассчитывает?!)

В целом картина ясна. Функциональность улучшилась, но недостаточно для нормальной работы.

С уважением, Andrew.

EI
ХГ-2004, АХГ-2008


Россия
2250 сообщений
Послано - 17 Апр 2008 :  18:29:15  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Дык в том-то и дело, что не доделали еще ничего... непонятно, почему улучшилось, но факт на лицо. :)

simplemente para llamar su atención

Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 17 Апр 2008 :  18:37:33  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
EI, он нас испугался )))

С уважением, Andrew.

SeaJey
Мастер Слова


Russia
2974 сообщений
Послано - 17 Апр 2008 :  23:43:25  Посмотреть инфо об авторе  Посетить домашнюю страницу SeaJey Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Сегодня Лёша проверял доработки на тестовом сервере, с недельной давности бэкапом базы основного форума.

Прогресс на лицо - перечень экспертов-Хранителей выдаётся не медленней обычной форумной страницы. Правда я не застал фазу расчёта близостей профилей.

Есть шанс, что завтра можно будет потестировать в почти полном обьёме.


____________________________________

Да-да, давайте есть пчелу мирно! (c)

Andrew
Мастер Слова


Russia
5970 сообщений
Послано - 18 Апр 2008 :  20:38:25  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
И как, потестили? )))

С уважением, Andrew.

Admin
Администратор
SeaJey
Мастер Слова


Russia
2974 сообщений
Послано - 19 Апр 2008 :  01:10:25  Посмотреть инфо об авторе  Посетить домашнюю страницу SeaJey Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Пока шустро, но выдачу книг пока не реализовали :)


____________________________________

Да-да, давайте есть пчелу мирно! (c)

Aladin777
Наблюдатель


Россия
2 сообщений
Послано - 11 Апр 2019 :  20:08:28  Посмотреть инфо об авторе  Посетить домашнюю страницу Aladin777 Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Пока все норм


   
Перейти к:
поиск по теме:
  

Ответить на тему "Проблемы больших профилей"

Экран:   
Логин:  
Пароль:  
Авторизовать на форуме:  
Форматирование:   Жирный Курсив Подчеркнуть Зачеркнуть Вставить кавычки Выравнивание по левому краю Центрировать Выравнивание по правому краю Горизонтальная линия Вставить ссылку Вставить E-mail Вставить картинку Вставить цитату Спойлер Вставить список
   
Сообщение:  
* HTML разрешен
* Внутренний язык включен


радость [:)]
радость!!! [:D]
стыд [:I]
язык [:P]
злость [}:)]
подмигивание [;)]
шутка [:o)]
черный глаз [B)]
грусть [:(]
скромность [8)]
шок [:O]
гнев [:(!]
смерть [xx(]
поцелуй [:X]
одобрение [^]
несогласие [V]

  Отметьте для добавления собственной подписи из вашего профайла.
Отметьте для получения ответов по e-mail.
     


Последние 10 сообщений | Активные форумы | Тематические разделы | Хранители | Инквизиторы | Поиск | Вопросы и ответы
      Rambler's Top100     
© Wilmark Пользовательское соглашение
Политика конфиденциальности
Snitz Forums 2001
Русификация: Wilmark Design