??? ????? Big Data ? ??? ? ???? ?????????

Big Data ?????????? ????? ???????????? ????????, ??????? ?????????? ?????????? ????????????? ????????? ??-?? ???????? ???????, ???????? ??????? ? ???????????? ????????. ??????????? ?????????? ??????????? ?????????? ????????? ?????????? ?? ????????????? ??????????.

??????? ? ????????????? ??????? ???????? ????????? ??????. ????????????? ?????????? ???????? ? ??????????. ????? ???????? ??????? ?? ????????????. ????? ????? ??????????? ??????????? ????????? ??? ??????????? ????????????. ?????????????? ???? — ????????????? ??????? ??? ????????? ???????.

?????????? Big Data ???? ???????????? ???????? ???????????????? ?????. ????????? ???????? ????????????? ?????????? ??????????. ????? ?????????? ?????????? ?????????? ?????? ? ?????? ?????????? ???????. ??????????? ????????? ??????????? ???????? ??? ????????? ???????.

??????????????? ??????? Big Data

?????? ?????????? ?????????? ????????? ?? ???? ??????? ???????????????, ??????? ??????? ????? V. ?????? ???????? — Volume, ?? ???? ?????????? ????????. ??????????? ?????????????? ????????? ? ????????? ???????? ?????????. ?????? ???????? — Velocity, ???? ???????? ? ?????????. ?????????? ????????? ????????? ???????? ??????? ?????? ???????. ?????? ??????????? — Variety, ????????????? ???????? ??????????.

?????????????? ?????????? ??????????? ? ???????? ? ????????????? ?????? ? ??????. ??????????????? ???????? ?? ???????? ??????? ????????????? ??????. ??????????, ???????????, ?????????? ????????? ????????? ? ???? ?????????. ????????????????????? ???????? ????? ??????? ??????. XML-????? ? JSON-????????? ?????? ????? ????? ??? ??????????? ????????.

?????????????????? ??????? ???????? ????????? ?????? ?? ????????? ???????? ????????????. ???????? ????????? ?????????????? ??????????? ??? ?????????????? ???????. ???????????????? ???????? ??????????? ?????????? ???????? ??? ????? ?????????. ?????????????????? ???????????? ??????????? ?????????? ??? ?????? ?? ????? ???????????. ???????????? ?????????? ????????? ?????????? ?? ????????????? ????? ??? ???????? ???????????? ? ???????? ?????????.

?????? ?????????? ????????

??????????? ????????? ???????? ???????? ?? ????????? ????????. ?????? ????????? ?????????? ?????????? ????????? ?????????? ??? ???????????? ?????????.

??????? ??????? ??????? ?????????? ??????????:

• ?????????? ??????? ??????? ????????? ?????????, ????????, ??????????? ? ?????????? ? ???????????????? ?????????. ????????? ????????? ?????, ??????? ? ??????.
• ???????? ????? ?????????? ???????????????? ???????, ??????? ? ???????. ??????? ??????? ???????????? ?????????? ????????. ??????????? ???????????? ??????????? ?????????? ? ??????????? ? ??????????????.
• ?????????????? ??????? ?????????? ???????? ?????????? ? ???????. ?????????? ?????????? ????????? ????????. ??????-???????? ????????? ?????????? ??????? ? ???????? ??????????? ?????? ?????? ??? ?????????????? ?????????.
• ???-??????? ????????? ??????? ???????, ????? ? ???????? ?? ??????. ????????? ??????? ????????? ??????? ???????????.
• ??????????? ?????????? ???????? ?????????????? ?????????? ? ?????????? ?? ?????????????? ???????.

??????? ??????????? ? ???????? ??????????

????????? ???????????? ???????? ?????????????? ?????????????? ???????????? ?????????. API ???????????? ???????? ????????????? ???????? ???????? ?? ??????? ????????. ???-????????? ????????? ?????? ? ??????. ?????????? ???????? ??????????? ????????????? ??????????? ?????? ?? ??????????? ? ?????? ??????????? ???????.

??????????? ?????????? ?????????? ???????? ???????????????? ?? ????????? ?????. ??????????? ???? ????????????? ?????????? ? ???????? ?? ???????. NoSQL-????????? ?????????? ???????????? ?????? ??? ??????????????? ????????. ???????????????????????? ???? ?????? ?????????? ? ??????? JSON ??? XML. ???????? ??????? ??????????????? ?? ???????? ???????????? ????? ?????????? ?????? ?????? ??? ????????? ?????????? ????????.

?????????????????? ???????? ????????? ?????? ?????? ?? ?????? ?????. Hadoop Distributed File System ????????? ????? ?? ????? ? ???????? ?? ??? ????????????. ???????? ????????? ???????????? ?????????? ??????????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ??????????? ?????? ?? ?????? ??????? ????.

??????????? ??????????? ?????? ? ????????? ???????????? ??????. ??????? ?????? ?????????? ???????? ? ??????????? ?????? ??? ????????????? ???????. ????????????? ????????? ??????? ????????????? ?????? ?? ??????????? ?????????.

???????? ????????? Big Data

Apache Hadoop ???????? ????? ????????? ??? ?????????????????? ??????? ??????? ????????. MapReduce ????? ???????? ?? ????? ????? ? ???????????? ????????? ????????? ?? ???? ????????. YARN ?????????? ????????????? ???????? ? ???????????? ??????? ????? ?????? ?????? ????????. Hadoop ??????????? ????????? ?????????? ? ???????????? ?????????????.

Apache Spark ???????? Hadoop ?? ???????? ??????? ????????? ?????????????? ??????????? ??????. ??????? ?????????? ???????? ? ??? ??? ??????????? ????????? ??????. Spark ???????????? ???????? ???????????, ????????? ??????, ???????? ???????? ? ??????? ??????????. ???????? ????? ??? ?? Python, Scala, Java ??? R ??? ?????????? ????????????? ??????????.

Apache Kafka ????????????? ?????????? ???????? ?????? ????? ???????????. ????????? ??????????? ???????? ??????? ? ??????? ? ?????????????? ?????????. Kafka ?????????? ?????? ??????? ?????? ?????? ??? ??????????? ???????????? ? ?????????? ? ??????????????? ?????????? ??????????? ????????.

Apache Flink ???????????? ?? ??????? ??????????? ?????? ? ?????????? ???????. ??????? ???????????? ???????? ?? ???? ?? ??????????? ??? ????. Elasticsearch ????????????? ? ????????? ?????????? ? ??????? ???????. ?????????? ?????????? ?????????????? ?????????? ? ????????????????? ??????????? ??? ?????, ??????????? ? ???????.

????????? ? ???????? ????????

?????? ???????? ?????? ??????? ?????? ?????????????? ?? ???????? ??????. ????????????? ?????? ????????? ???????????? ?????. ??????????????? ????????? ????????????? ????????? ?????????. ???????????????? ????????? ????????? ??????? ????????? ?? ???? ??????? ????????. ?????????????? ?????? ??????????? ??????????? ????.

???????? ???????? ?????????????? ????? ???????????? ? ??????????. ????????? ??????????? ?? ??????? ? ???????? ???????????? ???????????. ??????????? ???????? ????????? ?????????????? ???????? ??? ?????????????. ?????? ????????????? ????????? ???????? ??? ???????? ????????.

???????????????? ???????? ?????????? ??????? ???????? ? ????????????? ??????????. ??????????? ????????? ?????? ?????? ??? ????????????? ??????????. ???????? ? ????????????? ???????? ??????? ??????? ?????? ?????? ??? ???????????? ???????.

???????? ???????? ??????????? ????????? ???? ??? ??????????? ????????. ?????????? ???? ??????????? ???????????. ???????????? ???? ???????????? ?????????? ????? ? ??????????????? ??????????????????.

??? ????????????? Big Data

???????? ???????? ??????????? ???????????? ?????? ??? ?????????????? ??????????????? ??????????????. ????????? ??????? ?????? ???????????? ? ?????????? ?????? ?????????. ??????? ???????????? ???????????????? ?? ??????? ? ???????? ????????? ???????. ???????? ????????? ?????????? ???????????? ??? ????????? ?????????? ???????.

?????????? ????? ????????? ????????? ??? ??????????? ????????? ????????. ????????? ??????? ?????? ????????? ????????????? ? ????????? ?????????????? ???????? ? ????????? ???????. ??????? ???????? ????????? ?????????????????? ????????? ?? ?????????? ???? ?????????. ?????????? ??????????? ????????? ??? ???????????? ????????? ?????????.

???????? ??????????? ?????????? ??? ????????? ??????????? ????????. ??????????? ????????? ????????? ????? ?????? ? ???????? ????????? ???????? ???????????. ???????? ?????? ?????? ?????? ???????????? ???-?????????????????? ??? ?????????? ?????????????? ???????. ??????? ??????? ??????????? ??????? ???????? ? ????????????? ? ??????????? ???????????.

????????????? ????????? ?????????????? ???????????? ???????? ? ?????????????? ????????? ????????. ??????????? ???????????? ?????? ??????? ? ???????????? ???????????????. ????? ?????? ????????? ????????? ???????? ? ????????? ???????????. ????????????? ????????? ???????????? ??????????? ?? ?????????? ? ?????? ????????.

????????? ??????????? ? ???????????

???????????? ??????? ???????? ???????? ???????????? ???????? ??? ??????????. ???????????? ?????? ???????? ?????? ?????? ????????????, ?????????? ?????? ? ??????? ????????????????. ?????? ?????????? ??????? ????????? ???? ? ?????? ? ?????????? ???????. ???????????????? ???????? ??????? ??? ??????? ????????? ??????.

?????????? ???????? ?????? ?? ????????????????? ?????????. ?????? ?????????????? ?????? ? ????????????? ????????? ??? ???????????? ??????. ??????????? ?????? ???????? ?????? ??? ?????????? ?? ???? ? ?????????? ?? ???????. ?????????????? ????????????? ?????????? ??????????? ??????????? ????? ????????? ???????.

??????????? ???????? ?????????? ?????????? ??????????? ???????????? ??????????. ??????????? ???????? GDPR ???????????? ????????? ?????????? ?? ?????????? ??????. ?????????? ??????? ???????? ????????????? ? ????? ???????????? ??????. ???????? ??????????? ?????? ?? 4% ?? ?????????? ???????.

???????????? ????????? ?????????? ???????? ?? ??????? ??????. ?????? ???????? ?????, ?????? ? ?????? ??????. ???????????????? ??????????? ?????? ?????????????? ?????? ? ??????. ?????? ???????????? ???????????? ?????? ??? ???????????? ?????? ?????????? ???????. ????????????? ????? ????????? ?????????? ?????????? ?? ???????? ???????? ????????.

????????? ???????????? ???????????? ??????

????????? ???????? ???????? ????????? ???????????? ??????????. ????????? ?????????? ????????? ????????? ???????? ?? ??????? ?????? ???. ?????????? ??????? ????????????????? ?????????, ????????????????? ?????????? ? ????????????? ?????????? ???????????. ???????? ?????????? ????????? ? ???????????? ????????? ???????????.

???????????? ?????????? ??????? ????????? ???????? ????? ? ?????????? ????????????. ?????????? ???????????? ???????? ?????? ??? ???????? ? ??????. ?????? ??????? ?????????? ? ????????? ???????????? ????????. ??????????? ?????????? ????????? ??????? ? ????????????? ????????? ??????? ?? ?????.

????????????? ????????? ???????? ???????????? ??????????? ????????????? ???????. ?????????????? ???????? ???????? ??????? ????????? ????????? ??? ??????? ????????????. ????????? ?????? ????????? ????????????? ???????? ??? ???????? ???????. ??????? ?????????? ?????????? ??????? ? ????????? ??????????? ? ????????????.

???????????? ???????? ?????? ????????? ???????? ????????? ?? ??????????? ?????? ??? ?????? ????????. ??????? ???????? ?????? ??????????? ??????, ???????? ??????????????????. ???????? ???????????? ???????????? ?????? ? ?????????????? ????????????. ??????? ???????????? ?????????? ?????? ? ?????? ?? ?????????.