VKAPI-ML-DataHarvester

Проект автоматического сбора данных о постах в группе, пользователях группы и их постах. Конвейер обработки данных включает в себя Python-скрипт для сбора данных через VK API, HDFS, MariaDB, Sqoop и Spark.

Name		Name	Last commit message	Last commit date
Latest commit History 4 Commits
.gitignore		.gitignore
PySpark_ML.ipynb		PySpark_ML.ipynb
README.md		README.md
main.py		main.py
post_likes.csv		post_likes.csv
posts.csv		posts.csv
requirments.txt		requirments.txt
test.ipynb		test.ipynb
user_posts.csv		user_posts.csv
users.csv		users.csv
Курсовая_работа_ГромовПС.pdf		Курсовая_работа_ГромовПС.pdf
Презентация проекта.pptx		Презентация проекта.pptx

Navigation Menu

Repository files navigation

VKAPI-ML-DataHarvester

About

Releases

Packages

Contributors

Languages

Folders and files

Latest commit

History

Repository files navigation

VKAPI-ML-DataHarvester

About

Topics

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages