Большая база сообществ ВК с параметрами [8.7 млн. шт, собрана в январе 2019]

спасибо за отклик! а если это дело поменять местами (сделать пару user_id и group_id_n) и в процессе парсинга просто производить перерасчет по user_id путем заполнения (набивки) связанных с ним групп? тогда число строк не превысит число главной переменной.
то есть, идет парсинг пользователей по группам, находит повтор пользователя по id, и просто закидывает к существующему описанию пользователя новую группу (на повторы можно проверять не сразу, ужимая базу по мере ее накопления, наверное, так производительней).

 

Со всем этим можно экспериментировать, но явно не в рамках этой складчины

p.s если просто в какой-то столбец пользователя писать все группы в которых он состоит через запятую (а вы похоже предлагаете именно это), то никаких выборок из такой таблицы потом сделать будет почти невозможно! Что бы было удобно делать выборки, искать зависимости, пересечения и тд нужно именно group_id | user_id .... плюс не забывайте что эти данные очень быстро меняются, их нужно очень часто обновлять... сегодня юзер состоит в 3 группах, а завтра уже в сотне состоит ...

 

ну я это и предлагала как поле для творчества будущих складчин ). нет, я думала делать не через запятую, а чтобы каждая группа отдельным столбцом. все-равно, как атрибут.

 

Официальный отзыв проверяющего:

ВИДЕО ОТЗЫВ:


Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
MySQL пользовался первый раз в жизни. До этого проверял базы в ДЦС "Складчик"

В каком виде предоставлен материал и насколько удобно он оформлен?
2 архива с базами + текстовый файл с инструкцией

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Примерно 20-25 минут на полную подготовку и извлечение отфильтрованных мной искомых данных в excel по аналогии с инструкцией

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Усваивается как по маслу, был приятно удивлен

Сколько времени заняло достижение заявленного автором результата?
Примерно 20-25 минут на полную подготовку и извлечение отфильтрованных мной искомых данных в excel по аналогии с инструкцией

Нужны ли специальные навыки и дополнительные материальные вложения?
Вообще не нужны

Оказывал ли автор должную поддержку в процессе проверки?
Мне помощь не была нужна, но при выявлении одним из проверяющих недостатка в базах они были исправлены, а базы еще и дополнены

Каковы в целом общие впечатления о компетентности автора?
Автор компетентен в том что предлагает и за пределами предложенного. Меня как новичка впечатлило быстрое дополнение базы на 8,7 млн строк

Если в процессе проверки возникали какие-либо конфликты, недовольства либо значительные несоответствия полученных вами результатов заявленным автором в описании складчины - отразите эти моменты в своем отзыве.
Выявлено не было

Вывод:
Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины

Отсебятина:
Еще раз подчеркну, что используя MySQL первый раз в жизни не испытал никаких проблем.

 

@Testimonial
Спасибо за отзыв!!!

 

Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
MySQL пользуюсь постоянно, в тематике ВК скорее новичек.

В каком виде предоставлен материал и насколько удобно он оформлен?
Два архива с базами (сокращенной и полной) и вордовский файл с инструкцией

Сколько времени заняло изучение и выполнение заданий данного инфопродукта?
Полчаса по инструкции и столько же баловался с разными запросами и фильтрами.

Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
У меня никаких затруднений не вызвал.

Сколько времени заняло достижение заявленного автором результата?
Установка по инструкции 10-15 минут.

Нужны ли специальные навыки и дополнительные материальные вложения?
Доп вложений точно не нужно, навыки минимальные, по работе с базами данных. Автр приводит примеры запросов и фильтров, но конечно весь смак если вы сами умеете их создавать.

Оказывал ли автор должную поддержку в процессе проверки?
Да.

Каковы в целом общие впечатления о компетентности автора?
Автор полностью компетентен.


Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины

От себя: Очень интересная база данных, применение ограничено только вашей фантазией) вот пара выборок примеров

Спойлер: пара запросов

1. количетво групп по городам

2. количество групп в названии "игр" с открытой стеной

база полностью готова для работы

 

@htrmaster
Спасибо за отзыв!

 

ОТЗЫВ: (еще 1 лишним не будет)
- Для начала обязательно укажите свой уровень владения информацией и навыками: в данной области вы новичок, теоретик либо опытный практик?
c MySql практик
- В каком виде предоставлен материал и насколько удобно он оформлен?
2 архива с базами. один на 2,8Гб, второй на 200мег + Вордовский документ с инструкцией на 20 страниц
- Сколько времени заняло достижение заявленного автором результата? Нужны ли специальные навыки и дополнительные материальные вложения?
Установка OpenServer - не на слабом компе минут 20.
(От себя добавлю: ставятся с Опенсервером все существующие пакеты VisualC+ и прочее. Поэтому желательно в это время ничего на компе не делать, и все позакрывать. Особенно браузер, ибо установка этих приблуд часто проблемна. Ну или откажитесь от установки пакетов Visual но не гарантирую что заработает норм ОпенСервер). Импорт в базу данных с бекапа занял еще 15 минут.
Вот лиш малая часть того что наустановилось:

Изучение запросов и тесты ушло 1 час.
- Насколько легко усваивается материал, вызвал ли он какие-либо затруднения при проверке?
Все просто и доступно
- Нужны ли специальные навыки и дополнительные материальные вложения?
Доп вложений не нужно, навыки минимальные.
Обязательное наличие свободного места на диске в размере минимум 25 гиг.
рабочая папка занимает:


- Выводы:
Напоминаю в базе присутствуют такие поля


После запроса выборки интересующих полей. (поиск в названии ключа "одежд", отображение городов, и количество участников не меньше 5000. Также отображение сайта и открытости стены)

Получил такой результат в Excel:


- Итого,

5.7.1. Материал полностью соответствует заявленному автором описанию и пригоден для проведения складчины.​

 

@ZevSua
спасибо за отзыв!

 

Так база обновляться будет или нет? И если будет, то в течении какого времени, и как часто?

 

Приветствую.
Давать какие-то гарантии обновления и тем более конкретные сроки я не готов!
Но если в ближайшие 3 месяца с момента завершения складчины вдруг будут какие-то обновления этой базы, то складчики получат на них ссылку!