??? ????? Big Data ? ??? ? ???? ?????????

Big Data ???????? ????? ?????? ??????????, ??????? ?????????? ???????????? ???????? ????????? ??-?? ????????? ???????, ???????? ????????? ? ???????????? ????????. ??????????? ??????????? ????????? ??????? ????????? ?????????? ?? ????????????? ????????.

?????? ? ???????? ??????? ???????? ????????? ?????. ?????????? ???????? ???????? ? ???????????????. ????? ?????????? ????????? ?? ????????????. ????? ????? ??????????? ????????? ????????? ??? ??????????? ????????????. ?????????????? ?????? — ????????????? ?????? ??? ???????? ???????.

?????????? Big Data ????????? ???????????? ????????? ???????????????? ?????. ????????? ??????????? ??????? ?????????? ????????. ????????? ?????????? ???????? ??????????? ?????? ?????? ? ?????? ????????? ???????. ???????? ?????????? ???????? ???????? ??? ??????????? ???????????.

???????? ??????? Big Data

???? ??????? ?????? ???????? ?? ???? ??????????????? ??????????, ??????? ??????? ????? V. ?????? ??????????? — Volume, ?? ???? ?????????? ??????. ?????????? ??????????? ????????? ? ????????? ?????? ?????????. ?????? ???????? — Velocity, ???????? ???????? ? ???????. ?????????? ????????? ?????????? ???????? ?????? ?????? ???????. ?????? ???????? — Variety, ????????????? ????? ??????.

??????????????????? ?????????? ????????????????? ? ???????? ? ?????? ?????? ? ??????. ??????????????? ???????? ?? ???????? ??????? ???????????? ?????. ??????????, ???????????, ????????? ????????? ??????????? ? ???? ??????. ????????????????????? ?????? ????? ??????? ?????. XML-????? ? JSON-????????? ?????? ????? ???????? ??? ?????????????? ????????.

?????????????????? ??????? ?????????? ????????? ?????????? ?? ???????????? ????? ????????????. ???????? ?????????? ?????????????? ??????????? ??? ????????????? ?????????. ???????????????? ???????????? ??????????? ?????????? ???????? ??? ????? ?????????. ?????????????????? ??????????? ??????????? ?????? ??? ?????? ?? ????? ??????. ???????????? ?????????? ??????? ?????????? ?? ????????????? ??????? ??? ??????????? ???????????? ? ???????? ??????????.

?????? ??????? ????????

???????? ????????? ???????? ???????? ?? ???????????? ????????. ?????? ????? ??????? ????????????? ??????? ?????? ??? ????????? ?????????.

??????? ??????? ?????????? ?????? ????????:

• ?????????? ???? ????????? ?????????? ??????????, ???????????, ????? ? ?????????? ? ???????????????? ??????????. ??????? ???????????? ?????, ??????? ? ??????.
• ???????? ????? ????????? ????? ??????????, ??????? ? ??????????. ??????????? ??????? ????????? ?????????? ????????. ???????????? ??????? ???????? ???????? ? ??????????? ? ????????.
• ?????????????? ??????? ????????? ???????? ?????????? ? ???????. ?????????? ??????? ????????? ??????????. ????????-???????? ?????? ??????? ??????? ? ???????????? ??????????? ?????? ??? ????????? ????????????.
• ???-??????? ??????????? ?????? ??????????, ????? ? ???????? ?? ????????. ????????? ??????? ??????????? ??????? ????????.
• ??????????? ??????? ???????? ?????????????? ???????? ? ?????????? ?? ?????????????? ????????????.

??????? ?????????? ? ?????????? ??????

?????????? ??????? ?????????? ?????????????? ?????????????? ???????????? ????????. API ???????????? ?????????? ????????????? ????????? ?????? ?? ????????? ??????????. ???-????????? ???????? ???????? ? ????????-???????. ????????? ???????? ??????????? ?????????? ?????? ?????????? ?? ??????????? ? ?????? ?????????? ???????.

????????? ?????????? ???????? ?????? ??????????? ?? ????????? ?????. ??????????? ???? ??????????????? ?????? ? ???????? ?? ???????. NoSQL-????????? ?????????? ?????????? ?????? ??? ??????????????? ??????. ???????????????????????? ????????? ????????? ?????? ? ????????? JSON ??? XML. ???????? ????????? ???????????????? ?? ???????? ?????????? ????? ?????????? ?????? ??? ????????? ?????????? ?????.

?????????????????? ???????? ??????? ??????????? ?????? ?? ???? ?????. Hadoop Distributed File System ????????? ????? ?? ????? ? ???????? ?? ??? ????????????. ???????? ??????? ???????????? ?????? ?????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ????????????? ?????????? ?? ???????????? ????? ????.

??????????? ??????????? ??????????? ? ????????? ?????????????? ????????. ????????? ????????? ?????????????? ?????????? ? ??????????? ?????? ??? ????????????? ???????. ????????????? ?????????? ??????? ??????????? ?????? ?? ????????? ????????.

????????? ????????? Big Data

Apache Hadoop ???????????? ????? ??????? ??? ??????????? ????????? ????????????? ????????. MapReduce ????? ?????? ?? ????? ???????? ? ????????? ??????? ???????????? ?? ?????? ?????. YARN ????????? ?????????? ???????? ? ??????? ???????? ????? ?????? ????????. Hadoop ???????????? ????????? ???????? ? ?????????? ???????????????????.

Apache Spark ????????? Hadoop ?? ?????????????????? ??????????? ????????? ?????????? ??????????? ??????. ????????? ????????? ???????? ? ??? ??? ??????? ??????? ????????. Spark ???????????? ???????? ???????????, ????????? ?????????, ???????? ???????? ? ???????? ???????. ??????????? ??????? ??? ?? Python, Scala, Java ??? R ??? ?????????? ????????????????? ????????.

Apache Kafka ????????????? ?????????? ???????? ?????????? ????? ????????????. ??????? ???????????? ???????? ??????? ? ??????? ? ?????????????? ??????. Kafka ????????? ?????????????????? ???????? vulkan ??? ???????????? ????????? ? ?????????? ? ??????????????? ????????????? ??????????? ????????.

Apache Flink ??????????????? ?? ????????? ????????? ?????? ? ?????????? ???????. ??????? ????????? ???????? ?? ???? ?? ??????? ??? ??????????. Elasticsearch ??????????? ? ???????????? ?????????? ? ??????? ???????. ?????????? ???????????? ?????????????? ?????? ? ?????????????? ??????? ??? ???????, ?????? ? ??????????.

????????? ? ???????? ????????

????????? ??????? ?????????? ??????? ?????? ????????? ?? ???????? ??????. ???????????? ???????? ???????????? ???????????? ???????. ??????????????? ????????? ????????????? ????????? ???????. ???????????????? ????????? ????????? ??????????? ???????? ?? ???? ???????? ??????????. ???????????????? ????????? ?????????? ????????? ????.

???????? ???????? ???????? ?????????? ???????????? ? ??????. ?????? ????????? ?? ???????? ? ??????????? ???????? ?????????. ?????????????? ???????? ????????? ?????????????? ???????? ??? ?????????????. ????????? ???????????? ???? ????????? ??? ???????? ?????????.

????????????? ???????? ?????????? ????????? ????????? ? ????????????? ??????????. ??????????? ?????????? ?????? ???????? ??? ??????????? ??????????. ???????? ? ????????????? ?????????????? ??????? ???????? vulkan ??? ?????????? ???????.

???????????? ???????? ????????? ????????? ???? ??? ????????????? ???????. ?????????? ???? ????????? ????????. ???????????? ??????????? ?????????????? ????????? ?????????????????? ? ????????? ?????.

??? ???????????? Big Data

????????? ????? ???????? ??????? ???????? ??? ????????? ???????????????? ???????????. ????????? ????????? ?????? ??????? ? ??????? ?????? ?????????. ????????? ????????? ??????????? ?? ????????? ? ?????????????? ????????? ???????. ???????? ???????????? ?????????? ???????? ??? ????????????????? ???????????????? ?????????.

?????????? ????? ?????????? ?????? ??? ????????? ????????? ????????. ????????? ???????????? ?????? ????????? ???????????? ? ????????? ???????????? ??????????? ? ?????????? ???????. ????????? ????????? ????????? ?????????? ????????? ?? ?????????? ???? ??????????. ?????????? ???????? ??????? ??? ??????????????? ???????? ???.

???????? ?????????? ??????? ??? ??????????? ????????????? ????????. ????????? ????????? ???????????? ?????????? ?????? ? ???????? ?????? ??????? ???????. ???????? ?????? vulkan ???????????? ???-?????????????????? ??? ?????????? ???????????? ????????????????. ??????????? ?????????? ???????? ????????? ???????? ? ????????? ? ????????? ??????????.

????????????? ????????? ??????????? ????????????? ???? ? ??????????? ???????? ??????. ???????? ????????? ?????? ??????? ? ???????????? ???????????????. ????? ?????????? ?????????? ?????????????? ????????????? ? ??????? ?????????. ????????????? ?????? ????????? ???????????????? ?? ????????? ? ?????? ???????.

?????? ??????????? ? ??????????????????

?????? ???????????? ?????????? ???????????? ???????????? ????????? ??? ????????. ?????? ?????? ???????? ??????? ???????? ????????, ?????????? ????????? ? ??????? ???????. ?????? ?????? ????????? ????????????? ???? ? ????? ? ???????????? ???????. ?????????????? ??????? ??????? ??? ??????? ???????? ??????.

?????????? ????????? ???????? ?? ???????????????????? ?????????. ????????? ??????????? ?????? ? ???????? ?????? ??? ??????????? ?????. ??????????? ?????? ???????? ?????????? ??? ?????????? ?? ???? ? ?????????? ?? ?????. ?????????????? ?????????????? ????????? ???????? ???????? ????? ????????? ???????????.

??????????????? ?????? ?????? ????????? ????????? ???????????? ??????. ??????????? ????????? GDPR ???????????? ????????? ????????? ?? ???? ????????. ??????????? ????????? ????????????? ??????????? ? ?????????? ???????????? ??????. ?????????? ?????? ????????? ?? 4% ?? ???????? ???????.

????????????? ??????? ???????????????? ???????? ?? ???????? ????????. ??????? ????????? ?????, ?????????????? ? ?????????????? ?????????. ???????????????? ?????????????????? ????????? ?????????????? ?????? ? ??????. ??????? ???? ???????????? ?????? ??? ????????????? ?????????? ???????????? ?????????. ?????? ??????? ????????? ?????????? ???????? ?? ?????? ????????? ??????????.

??????? ??????? ?????????? ??????

????????? ??????? ?????????????? ?????? ??????? ??????????. ????????? ??????? ?????? ??????? ?????? ?? ??????? ?????? ???. ?????????? ??????? ????????????????? ?????????, ????????? ????????? ? ??????????? ?????????? ???????????. ???????? ??????????? ????????? ? ?????????? ????????? ????????????.

????????? ???????? ????????? ????????? ???????? ????? ? ?????? ????????????. ??????? ????????? ?????? ???????? ??? ????????? ? ??????. ????? ????????? ????? ? ???????? ?????????? ????????. ?????????? ?????? ???????????? ??????? ? ????????????? ????????? ??????? ?? ?????.

????????????? ????????? ???????? ???????????? ???????????? ?????????????? ????????????. ?????????????? ???????? ???????? ??????? ??????????? ?????? ??? ????????????? ??????????????. ????????? ??????????? ?????????? ???????????? ?????? ??? ???????? ??????????. ?????????? ????????? ????????? ????????????? ? ????????? ??????????? ? ???????.

?????????????? ???????? ?????? ???? ??????????? ??????? ?? ?????????????????? ?????????? ??? ????????????? ??????????. ??????? ??????? ?????? ??????? ??????????, ????? ???????????. ???????? ???????????? ?????????? ?????????? ? ??????????? ??????????. ???????? ??????????? ????????????? ?????? ? ?????? ?? ???????????.