[ ВАЖНО ] Обсуждение алгоритма рекомендаций

alex14san, спасибо за ответ в другой теме. Я поначалу подумал о ковариантном анализе, но там может быть проблемой относительно небольщое количество оценок у многих (маленький сэмплинг). Байесовский анализ действительно должен лучше справляться, по крайней мере со временем. Ничего более конструктивного в голову не приходит. Успеха вам!

А можно сделать чтобы выбирались или отключались разделы в рекомендациях?
То какой смысл в рекомендации чего либо в том разделе, который не интересен человеку целиком

Greg Linden написал интересный блогопост (точнее, процитировал статью) про команду из AT&T Labs, участвующую в конкурсе Netflix - миллион долларов за улучшение на 10% их рекомендательного алгоритма "Cinematch". Несколько лет назад эта команда была лучшей с результатом в +8.43%, сейчас у них +9.63% так что призовой миллион, похоже, таки будет выплачен.

Их алгоритм основан на использовании нескольких подходов одновременно, которые компенсируют недостатки друг друга. Основные у них - это "соседи" и "скрытые факторы". В этом конкурсе другая задача - предсказать оценку (мы пытаемся отобрать что больше понравится), поэтому "соседство" там берётся между фильмами а не между пользователями. В статье написано, что "соседство" лучше всего работает на небольшом объёме данных (50 соседей и меньше), аналогично я писал что метод "сходства вкусов" с ростом объёмов данных становится всё хуже, скатываясь до "средней температуры по больнице".

Одна из целей, преследовавшаяся при улучшении нашего алгоритма, была - оценивать и рекомендовать релизы, у которых ещё вообще ни одной оценки, пока никто за него ещё не проголосовал. Байес по словам с этой задачей справляется неплохо. Описываемый в статье подход "скрытых факторов" (Latent-Factor) сложнее. Там все фильмы оцениваются на нескольких десятках шкал, типа комедия/драма, боевик/романтика, детский/взрослый и т.п. Факторы отбираются автоматически на основе данных о голосовании, и часть их вообще невозможно интерпретировать. На основе оценок пользователя вычисляется его отношение к каждой из шкал, и при предсказании оценки сравниваются наиболее значимые для человека "шкалы" и положение фильма на них.

Третий их подход - учитывать чему человек ставит оценки, а не какие оценки. Например, если человек оценивает много фильмов в жанре "фентези" (даже если ставит низкие оценки) то скорее всего ему понравится "Властелин Колец". Отчасти у нас это учитывается - вес слов зависит от того, сколько раз оно встречается в оценках, и обрабатывается список того, что человек скачал, а не только что оценил.

Кстати говоря, на самом Netflix используется 5-бальная система, а не 10 как на IMDB, так что смысла менять оценки на 10-бальные наверное и нет.

alex14san писал(а):

Netflix - миллион долларов за улучшение на 10% их рекомендательного алгоритма "Cinematch"

оффтоп, но цель достигнута: http://www.netflixprize.com/leaderboard

Рекомендации теперь и на портале: http://www.nnmclub.to/forum/portal.php?s=recommend
сортировка по дате а не по релевантности, т.к. если часто смотреть что рекомендуют,
то интереснее самые свежие новинки, а остальное можно и пролистать при желании.

Кроме этого, теперь можно посмотреть свою историю голосования:
http://www.nnmclub.to/forum/portal.php?s=votes

А также ранее скачанные релизы, и прямо на портале поставить им оценки:
http://www.nnmclub.to/forum/portal.php?s=downloaded

aleksbor3 писал(а):

Согласен, но напиши коменнтарий, почему? Где то на форуме это обсуждалось если ставиш низкий бал то пиши комент, лично я вот ни когда ниже четвёрки не ставлю так понимаю что нельзя плевать в колодец из которого пьёш, если меня раздача не устраивает я просто пройду мимо.....

Полностью, поддерживаю. Сам я либо ставлю оценку 5, либо не ставлю вообще ничего, если мне совсем уж не понравился материал. А высший балл ставлю практически всегда, за очень редким исключением. Человек же старался. Но изза этого и в рекомендациях много ерунды ненужной...
Но. Допустим кто-то пишет комментарий, почему поставил низкую оценку. Его, скорее всего, поставят на место, указав на правила трекера - не собираешься присоединяться к раздаче, не комментируй ее.

Но сама система оценок неудобна. Для меня, во всяком случае.

Учитывать только новые релизы по тематическим градациям

Если честно, я бы предпочла вместо рекомендаций просто подписку на определённые темы. Интересуют меня на трекере 2-3 темы - добавляю их себе в подписку и получаю возможность отслеживать новые релизы, не бродя по трекеру.
А связь рекомендаций с оценками мне вообще непонятна. Я могу скачать 5-6 релизов, чтобы выбрать из них то, что мне действительно нужно. Мне может ничего из скачанного не понравиться, и я буду продолжать искать. А могу найти то, что нужно, и тема меня вообще перестанет интересовать.
Вобщем, тему с рекомендациями считаю малополезной и неэффективной. Никто не знает, чем я руководствуюсь, выбирая релизы (может, просто кто-то попросил скачать что-то конкретное, а может, просто качаю что-то популярное, чтобы рейтинг поправить).

P.S. На оценки релизов внимания обычно не обращаю. Если хочу узнать мнение скачавших - читаю комменты.
А "Будущие закачки" пока использую не по назначению. У меня это просто ещё одна папка, куда можно временно чего-нить засунуть (это вовсе не значит, что я буду засунутое туда качать)

Как-то посмотрел рекомендации в своём профиле, долго смеялся, как по мне - функция совершенно бесполезная...

vilator
Над кем смеетесь? Над собой смеетесь!
Рекомендации даются по вашим же оценкам.
Если будете обьективно оценивать релизы (понравилось-не понравилось), то и рекомендации будут выдавать действительно то, что может заинтересовать.
Для благодарности релизеру есть кнопка спасибо.

Добавлено спустя 2 минуты 32 секунды:

zavrelena писал(а):

Если честно, я бы предпочла вместо рекомендаций просто подписку на определённые темы.

А чем закладки не устраивают?

NorthOn
Просто иногда попадаются ну совсем нелепые, с точки зрения моего вкуса рекомендации... думаю, что не один я с этим сталкивался, и потом, поскольку я сам делюсь музыкой на трекере, то приоритет рекомендаций, на мой взгляд должен в первую очередь касаться материала раздаваемого мной, тем более, что релизов не так уж и мало..

Что касается моих оценок, то совсем не обязательно должно значить, что я их качаю, да, я порой оцениваю некоторые релизы за их эксклюзивность либо за большую проделанную работу релизёра.

Вот если бы была кнопочка "Получить рекомендации в данном жанре", или сразу выпадающий список похожих исполнителей, как это сделано на дискогсе или ластфм к примеру для многих было бы полезно и более наглядно...