-
![[bigdata-006] 工作流 tez和oozie](/uploads/allimg/c190919/15DS2cc2J0-1U47.gif)
[bigdata-006] 工作流 tez和oozie
所属栏目：[大数据] 日期：2021-01-01 热度：94
1.? 基本状况 Tez是Hortonworks开发的。 董西成的分析 http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://zh.hortonworks.com/blog/introducing-tez-faster-hadoop-processing/ tez运行在Yarn上的，DAG工作流，底层设计，对Map和Reduce进一步[详细]
-
HDoj1047Integer Inquiry(大数连续相加)
所属栏目：[大数据] 日期：2021-01-01 热度：116
Integer Inquiry Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 19438????Accepted Submission(s): 5087 Problem Description One of the first users of BIT's new supercomputer was Chip[详细]
-
读取csv数据并保存成图像
所属栏目：[大数据] 日期：2021-01-01 热度：193
int main(int argc,char* argv[]){ifstream file("******.csv");string value;int i = 0;int j = 0;while (file.good()){getline(file,value,'n');//cout string(value,value.length()) endl;if (i 0){value.erase(0,2);value.erase(value.length() - 9);[详细]
-
几种大数阶乘算法效率比较（Java）
所属栏目：[大数据] 日期：2021-01-01 热度：181
完整代码： package bigdatamul;import java.math.BigInteger;/** * 大数阶乘 * * @Description: TODO(大数阶乘) * * @author yzy * @date 2016-12-20 上午9:31:14 * */public class Test { public static void main(String[] args) { //单位：ms //fun1(5[详细]
-
报告一：知识工程与大数据分析
所属栏目：[大数据] 日期：2021-01-01 热度：170
报告一：知识工程与大数据分析 报告人：漆桂林博士，东南大学教授 主要内容：知识工程是人工智能的重要分支之一，知识的获取和基于知识的推理能力是人类高级智能的体现。知识工程涉及到机器学习、知识表示与推理、自然语言处理和数据存储等技术。本报告将[详细]
-
从小程序的理念，挖掘小程序的方方面面
所属栏目：[大数据] 日期：2020-12-31 热度：122
副标题#e# 小程序发布已过去3天，这个微信放的大招让整个互联网圈高潮了一把。目前业界已有各种小程序的分析和预测，也有很多诸如小程序解放了内存、小程序没用的声音。本文挖掘小程序背后表现出的理念，借这些理念阐述我对小程序的看法，适合的应用、与APP[详细]
-
[bigdata-030] cdh 5.9的impyla操作hiveserver2
所属栏目：[大数据] 日期：2020-12-31 热度：108
参考文献：http://www.aichengxu.com/view/11094184 1. cdh 5.9 2. 开发机已经安装了impyla pip install thrift_sasl pip install sasl 3. 在cdh集群的一个节点启动hiveserver2 3.1 修改/etc/hive/conf.cloudera.hive/hive-site.xml 增加属性 property ? n[详细]
-
HDU 2054 判断大数是否相等
所属栏目：[大数据] 日期：2020-12-31 热度：78
原题链接：http://acm.hdu.edu.cn/showproblem.php?pid=2054 题解：这个题不严谨，仅判断后向0就行，而且不用判正负。 代码： #includeiostreamusing namespace std;const int maxn = 100000;void cleanlastzero(char str[]) { int len = strlen(str),digi[详细]
-
51 Nod 1028 大数乘法 V2 NTT 学习
所属栏目：[大数据] 日期：2020-12-31 热度：117
题意：求两个大数的乘积 解题方法：之前已经用FFT做过了，今天学习一下NTT，记录一下模板。 先所以下NTT，具体的讲解可以看见这里 为了避免FFT在复数和浮点运算中出现精度问题，所以在某些情况下使用NTT。记录一下NTT的模板，其实和FFT很多一样。对了这个[详细]
-
一份价值百万的大数据分析报告如何炼成？
所属栏目：[大数据] 日期：2020-12-31 热度：62
作者 | 江颖 大数据文摘欢迎各类优质稿件 请联系tougao@bigdatadigest.cn 序 曾经，咨询公司一份报告就能收取企业几十万、甚至于上百万。而今，矫枉过正，数据分析报告却常常被企业认为没有任何实际价值。我经常和企业交流，他们告诉我，需要的是能够为他[详细]
-
什么是AI,叫人工智能,和BI,商业智能有什么区别
所属栏目：[大数据] 日期：2020-12-31 热度：87
人工智能(Artificial Intelligence) ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出[详细]
-
如何用大数据实现用户价值的最大化
所属栏目：[大数据] 日期：2020-12-31 热度：182
副标题#e# 来源：易观智库 1 大数据中的用户分析 首先，我们为什么要去做用户分析？面临繁琐的数据之中，需要做什么分析？怎么去提取数据？在建立用户画像模型的过程中，区分用户特征的关键点是什么？应该从哪些方面去寻找用户的特征？其实这个问题扩大化以[详细]
-
算法提高 大数加法
所属栏目：[大数据] 日期：2020-12-31 热度：100
问题描述 输入两个正整数a,b，输出a+b的值。 输入格式 两行，第一行a，第二行b。a和b的长度均小于1000位。 输出格式 一行，a+b的值。 样例输入 4 2 样例输出 6 #includestdio.h#includestring.hvoid fun(int n,int sum[]){int temp,i;for(i=0;in;i++){temp[详细]
-
[bigdata-031] python3+selenium 做抓取
所属栏目：[大数据] 日期：2020-12-31 热度：192
1. 安装 1.1 pip3 install -U selenium 1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩，然后放到/usr/bin目录 2. 抓取豆瓣 #!/usr/bin/env python3#!-*- coding:utf-8 -*-impor[详细]
-
26、Power Query-日期与时间数据处理实例（统计出某年各月各周的
所属栏目：[大数据] 日期：2020-12-31 热度：114
本节重点：Power Query-日期与时间数据处理实例（统计出某年各月各周的借书人数） 需求如下： 上图所示，根据左侧的数据源，统计出2016年各月各周的借书人数（效果如右侧所示）。 分析：很明显，这个需求是对日期的一个操作，其实仅需要用到左侧的第一列即[详细]
-
[bigdata-028]apache nifi 从mysql导出数据到hbase
所属栏目：[大数据] 日期：2020-12-31 热度：162
0.在hbase节点，启动thrift服务 hbase-daemon.sh start thrift 1. 在本机启动nif ./bin/nifi.sh start 2. 在浏览器输入http://localhost:8080/nifi，看到nifi的界面 3. 拖一个processor ExecuteSQL到界面 ??? 3.1 在processor上点击右键，选择configure，[详细]
-
27、Power Query-日期与时间数据处理实例（图书室借书统计）
所属栏目：[大数据] 日期：2020-12-31 热度：158
本节要点：Power Query-日期与时间数据处理实例（图书室借书统计） 承接上一节的需求，我们引入切片器的功能，对图书室的借书以及归还情况进行查询和筛选，效果图如下： 对“借书状态”和“归还状态”进行筛选，亦可同时筛[详细]
-
[bigdata-029] 在centos 7上安装maria
所属栏目：[大数据] 日期：2020-12-31 热度：65
centos 7以上版本支持mysql的另一个分支maria 安装方式如下 正确安装mariadb http://blog.csdn.net/default7/article/details/39138139 http://blog.csdn.net/default7/article/details/41973887 yum install mariadb* service mariadb.service start syst[详细]
-
数据意识崛起，从企业应用看BI软件的未来发展
所属栏目：[大数据] 日期：2020-12-31 热度：139
前阵子，和一群企业CIO聊天，希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时，大家纷纷表示目前还处于观望状态。 提及BI，大家都觉得有些飘忽，和大数据一样，听着高大上，能真正实现落地的并没有多少，性价比甚至不如一个报表工[详细]
-
宋慧庆|广告系统中的大数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：56
副标题#e# 宋慧庆，时趣互动 移动广告架构师 十余年互联网老司机，具有多年互联网广告系统研发经验，负责研发个性化动态创意系统，用户画像标签系统以及大数据治理；对编程语言有浓厚的兴趣。 什么是大数据？ 从具备4V（Volume，Velocity，Variety，Value）[详细]
-
25、Power Query-日期与时间数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：58
本节知识点：Power Query-日期与时间数据处理 日期与时间数据处理功能位置（同样在“转换”和“添加列”菜单中都存在）： 这里重点讲解一下某些知识点。 比如年限：意思是当前系统日期减去选中列的日期，结果以“天时分秒毫秒”方式显示。 月份下面的“一[详细]
-
媒体|郑宇：用大数据预测雾霾是如何做到的？
所属栏目：[大数据] 日期：2020-12-31 热度：200
副标题#e# （本文由澎湃新闻授权转载。） ? 全球范围里，有超过半数的人类居住在城市之中，城市化的进程也从未停止过。面对越来越庞大的城市，许多事情已经超出了控制：拥堵的交通，严重的空气污染，让人烦躁的噪音等等。 ? 没有人真正了解城市中到底发生了[详细]
-
（26进制大数相加）hdu 2100 Lovekey
所属栏目：[大数据] 日期：2020-12-31 热度：113
Lovekey Problem Description XYZ-26进制数是一个每位都是大写字母的数字。 A、B、C、…、X、Y、Z 分别依次代表一个0 ~ 25 的数字，一个 n 位的26进制数转化成是10进制的规则如下A0A1A2A3…An-1 的每一位代表的数字为a0a1a2a3…an-1 ，则该XYZ-26进制数的1[详细]
-
如何利用图像识别、语音识别、文本挖掘做好鉴黄？
所属栏目：[大数据] 日期：2020-12-31 热度：70
人工智能鉴黄市场竞争愈发激烈，目前图普科技、阿里绿网、腾讯万象优图等团队已占据大量市场份额，在此环境下，不少公司试图通过提供更全面的服务从这片红海中分一杯羹。 那么更全面的定制服务体现在哪些地方？雷锋网(公众号：雷锋网)特地采访了极限元 CEO[详细]
-
打包带走！史上最全的大数据分析和制作工具
所属栏目：[大数据] 日期：2020-12-31 热度：146
副标题#e# 来源：数之联大数据（ID：unionbigdata） 工欲善其事，必先利其器。 作为在大数据领域摸爬滚打叱咤风云的伙计们，也应当有一些实用工具来辅助工作日常。下面是小编精心整理的一些经检测非常实用的工具及网站，呈给大家~~ 数据可视化工具 说到数据[详细]
