??? ????? Big Data ? ??? ? ???? ?????????

Big Data ???????????? ????? ?????? ??????, ??????? ?????????? ???????????? ????????????? ???????? ??-?? ?????????? ??????, ???????? ????????? ? ????????????? ????????. ??????????? ??????????? ??????????? ????????? ????????? ?????? ?? ????????? ????????.

??????? ? ????????????? ??????? ???????? ????????? ??????. ?????????? ???????? ???????????? ? ?????????????. ????? ?????????? ???????????? ?? ??????. ????? ????? ????????? ??????????? ????????? ??? ?????????? ?????????. ????????? ???? — ??????????? ?????? ??? ???????? ???????.

?????????? Big Data ????????? ???????????? ???????? ???????????????? ???????????. ???????? ???? ??????? ?????????? ??????????. ?????????? ??????? ????????????? ???????? onx ? ?????? ??????????? ???????. ??????????? ??????????? ??????????? ???????? ??? ??????????? ????????.

??????? ??????????? Big Data

?????? ???????????? ?????????? ???????????? ?? ???? ??????? ??????????, ??????? ??????? ????? V. ?????? ?????????????? — Volume, ?? ???? ????? ????????. ??????????? ??????????? ????????? ? ????????? ?????????? ?????????. ?????? ???????? — Velocity, ???????? ???????? ? ?????????. ?????????? ????????? ??????? ???????? ??????? ?????? ???????. ?????? ????? — Variety, ???????????? ???????? ??????????.

????????????????? ?????? ??????????? ? ???????? ? ??????????? ?????? ? ????????. ??????????????????? ???????? ?? ????? ?????????????? ????????????? ?????????. ??????????, ???????????, ?????????? ????????? ??????????? ? ???? ??????. ????????????????????? ?????????? ???????? ????????????? ?????. XML-????? ? JSON-????????? On X ???????? ??????? ??? ???????????????? ??????.

?????????????????? ????????? ?????????? ??????????? ?????????? ?? ???????????? ????? ???????????. ???????? ??????????? ?????????????? ???????? ??? ?????????? ?????????. ???????????????? ???????????? ??????????? ????????? ??????? ??? ?????????? ?????????. ?????????????????? ???????????? ??????????? ?????????? ??? ?????? ?? ????? ?????????. ?????????? ??????? ??????? ?????????? ?? ????????? ???????? ??? ?????????? ???????????? ? ??????? ?????????.

??????? ?????????? ??????????

??????????? ??????????? ???????? ?????????? ?? ????????? ????????. ?????? ???????? ????????? ????????????? ??????? ?????????? ??? ??????????????? ?????????.

??????? ????????? ??????? ?????????? ????????:

• ?????????? ????????? ??????? ?????????? ?????, ????????, ??????????? ? ?????????? ? ?????????? ??????????. ??????? ????????? ?????, ??????? ? ??????.
• ???????? ????? ????????? ????? ???????, ??????? ? ??????????. ??????????? ??????? ????????? ???????? ????????????. ????????? ???????????? ???????? ?????? ? ??????????? ? ?????????????.
• ?????????????? ????????? ????????? ???????? ???????? ? ???????. ?????????? ?????????? ????????? ????????. ????????-???????? ????????? ?????? ???????????? ? ???????????? ??????????? On-X ??? ???????????????? ?????????.
• ???-??????? ??????????? ??????? ???????, ????? ? ???????? ?? ??????. ????????? ?????? ????????? ??????? ?????????????.
• ??????????? ????????? ???????? ?????????????? ?????? ? ?????????? ?? ????????????? ????????????.

?????? ????????? ? ???????? ??????

????????? ??????? ?????????? ?????????????? ??????? ???????????????? ????????. API ???????????? ???????? ?????????????? ???????? ?????? ?? ????????? ????????. ???-????????? ???????? ?????? ? ??????. ?????????? ???????? ???????????? ????????????? ????????? ?????????? ?? ??????????? ? ?????? ??????????? ???????.

??????????? ?????????? ??????? ???????? ??????????? ?? ????????? ???????. ??????????? ??????? ????????????? ???????? ? ???????? ?? ???????????. NoSQL-????????? ??????????? ?????????? ??????? ??? ??????????????? ??????????. ???????????????????????? ???? ?????????? ?????? ? ??????? JSON ??? XML. ???????? ????????? ???????????? ?? ?????????? ?????? ????? ????????? On-X ??? ???????? ?????????? ?????.

?????????????? ???????? ??????????? ?????? ???????? ?? ????????? ?????. Hadoop Distributed File System ????????????? ????? ?? ????? ? ????????? ?? ??? ????????????. ???????? ????????? ???? ??????????? ???????????. Amazon S3, Google Cloud Storage ? Microsoft Azure ???????????? ??????????? ?? ???????????? ????? ????.

??????????? ??????????? ????????? ? ????? ?????????????? ??????????. ??????? ????????? ?????????????? ?????????? ? ??????????? ?????? ??? ??????????? ???????. ????????????? ?????????? ??????? ?????????????? ?????? ?? ??????????? ?????.

????????? ????????? Big Data

Apache Hadoop ?????????? ????? ??????? ??? ??????????? ??????? ??????? ????????. MapReduce ????????? ?????? ?? ????? ???????? ? ?????????? ????????? ???????????? ?? ???????????? ????????. YARN ?????????? ????????????? ???????? ? ??????? ???????? ????? On-X ??????. Hadoop ??????????? ????????? ?????????? ? ??????? ???????????.

Apache Spark ??????????? Hadoop ?? ?????????????????? ??????????? ????????? ?????????????? ??????????? ??????. ??????? ?????????? ???????? ? ??? ??? ??????? ???????????? ??????????. Spark ?????????? ???????? ??????, ????????? ?????????, ???????? ???????? ? ???????? ????????. ???????? ??????? ????????? ?? Python, Scala, Java ??? R ??? ?????????? ?????????????? ??????????.

Apache Kafka ???????????? ?????????? ???????? ???????? ????? ?????????. ??????? ?????????????? ???????? ??????? ? ??????? ? ?????????????? ??????. Kafka ????????? ?????????????????? ???????? ?? ??? ?????? ??? ??????????? ???????????? ? ?????????? ? ????? ????????????? ????????? ??????.

Apache Flink ???????????? ?? ??????? ??????????? ?????? ? ?????????? ???????. ??????? ???????????? ???????? ?? ???? ?? ??????????? ??? ??????????. Elasticsearch ?????????????? ? ???? ?????? ? ???????? ???????. ??????? ???? ?????????????? ?????????? ? ????????????? ??????????? ??? ?????, ?????????? ? ??????.

???????????? ? ???????? ????????

????????? ?????????? ?????????? ???????????? ???????? ??????????? ?? ??????? ??????????. ????????????? ????????? ???????????? ???????????? ???????. ????????????????? ???????? ???????? ??????? ??????????. ???????????????? ????????? ????????? ????????????? ????????? ?? ?????????? ??????????? ????????. ?????????????? ???????? ???????????? ??????????? ???????.

???????? ???????? ???????????? ????? ???????????? ? ??????????. ????????? ??????????? ?? ??????? ? ???????? ????????????? ????????????. ??????????? ???????? ??????????? ?????????????? ?????? ??? ?????????????. ?????? ???????????? ???? ????????? ??? ???????? ??????????.

???????????????? ???????? ???????????? ??????? ??????????? ? ??????????????? ??????????. ????????????? ????????? ?????? ?????? ??? ??????????? ???????????. ???????? ? ????????????? ???????? ??????? ????? ?? ??? ?????? ??? ?????????? ??????????????.

???????? ???????? ????????? ????????? ???? ??? ????????????? ?????????. ?????????? ???? ??????? ???????????. ???????????? ??????????? ??????????? ?????????? ????? ? ????????? ????.

??? ??????????? Big Data

????????? ???????? ???????? ??????? ?????? ??? ?????????????? ??????????????? ??????????????. ???????? ???????????? ?????????? ??????? ? ?????????? ???????????? ???????????. ????????? ????????? ???????????????? ?? ????????? ? ???????? ??????????? ???????. ???????? ????????? ?????????? ???????????? ??? ????????????????? ???????????????? ???????.

?????????? ??????? ????????? ????????? ??? ??????????? ?????????? ????????. ????? ???????????? ??????? ?????????? ????????????? ? ????????? ?????????????? ??????????? ? ???????? ???????. ????????? ????????? ?????????? ?????????? ????????? ?? ?????? ????????? ?????????. ???????? ?????????? ??????? ??? ???????????? ???????? ?????????.

??????????????? ?????????? ?????? ??? ????????????????? ??????????? ????????. ???????? ????????? ??????????? ????? ???????????? ? ??????? ????????? ???????? ?????????. ???????? ????????? ?? ??? ?????? ?????????????? ???-?????????????????? ??? ?????????? ??????????????????? ???????. ??????? ?????????? ??????????? ????????? ???????? ? ????????? ? ????????? ??????????.

????????????? ????????? ??????????? ???????????? ???????? ? ??????? ????????? ??????????. ??????????? ??????? ???????? ??????? ? ?????? ?????????. ????? ?????? ???????????? ?????????????? ????????????? ? ??????? ?????????. ????????????? ??????? ????????????? ?????? ?? ?????? ? ?????? ????????.

????????? ??????????? ? ???????????

??????????? ???????????? ?????? ???????? ???????????? ?????? ??? ????????. ??????? ?????????? ????? ?????? ???????? ????????, ?????????? ????????? ? ?????? ????????????????. ??????????? ?????? ??????? ????????????? ???? ? ?????? ? ???????????? ???????. ?????????????? ???????? ??????? ??? ??????? ?????? ????????.

???????????? ????????? ?????????? ?? ???????????????????? ?????????. ??????? ????????? ?????????? ? ????????????? ??? ??? ???????????? ????. ???????? On X ???????? ?????????? ??? ????????? ?? ???? ? ?????????? ?? ?????. ?????????????? ????????????? ???????????? ???????????? ????????????? ????? ??????????????? ???????.

??????????? ?????????? ?????????? ????? ????????? ???????????? ????????. ??????????? ???????? GDPR ??????? ????????? ???????? ?? ?????????? ??????????. ??????????? ?????? ????????????? ???????? ? ????? ????????????? ??????????. ?????????? ?????? ?????? ?? 4% ?? ???????? ???????.

????????????? ??????? ?????????? ???????? ?? ????????????? ??????????. ?????? ???????? ???????, ?????? ? ??????? ??????. ???????????????? ??????????? ?????? ?????????????? ?????? ? ??????. ??????? ????????? ??????????? ?????? ??? ????????? ?????????? ?????????? ??????. ????????????? ????? ?????? ?????????? ?????????? ?? ?????? ???????????????? ??????????.

??????? ??????? ??????? ??????????

????????? ??????? ???????? ????????? ??????? ????????. ????????? ?????????? ?????? ??????? ??????? ?? ??????? ?????? ???. ??????? ??????? ????????????????? ?????????, ????????????????? ?????????? ? ??????????? ???????????? ????????????. ??????????? ??????????? ????????? ? ???????????? ????????? ???????????.

????????? ???????? ??????? ??????????? ?????????? ????? ? ?????? ????????. ?????????? ???????????? ?????? ????????? ??? ?????????? ? ??????. ????? ????????? ?????????? ? ????????? ???????????? ???????. ??????????? ?????????? ???????????? ??????? ? ????????????? ????????? ??????? ?? ?????.

????????????? ????????? ?????????? ???????????? ???????????? ????????????? ??????. ?????????????? ???????? ???????? ???????? ??????????? ?????? ??? ??????? ?????????. ????????? ???? ?????????? ???????????? ?????????? ??? ???????? ??????????. ??????? ?????????? ???????? ??????? ? ????????? ???? ? ??????????.

???????????? ???????? On X ????????? ??????????? ????????? ?? ?????????????? ????????? ??? ????????????????? ??????????. ??????? ??????? ?????? ??????????? ??????, ????? ??????????????????. ???????? ????????????? ???????????? ??????? ? ?????????????? ????????. ??????? ???????????? ????????????? ?????? ? ???????????? ?? ????????.