『壹』 Hive sql及窗口函数
hive函数： 1、根据指定条件返回结果：case when then else end as 2、基本类型转换：CAST（） 3、nvl：处理空字段：三个str时，是否为空可以指定返回不同的值 4、sql通配符： https://www.w3school.com.cn/sql/sql_wildcards.asp 5、count(1)与COUNT(*)：返回行数 如果表没有主键，那么count（1）比count（*）快； 如果有主键，那么count（主键，联合主键）比count（*）快； count(1)跟count(主键)一样，只扫描主键。count(*)跟count(非主键)一样，扫描整个表。明显前者更快一些。 性能问题： 1.任何情况下SELECT COUNT(*) FROM tablename是最优选择,(指没有where的情况）； 2.尽量减少SELECT COUNT(*) FROM tablename WHERE COL = ‘value’ 这种查询； 3.杜绝SELECT COUNT(COL) FROM tablename WHERE COL2 = ‘value’ 的出现。 count(expression)：查询 is_reply=0 的数量： SELECT COUNT(IF(is_reply=0,1,NULL)) count FROM t_iov_help_feedback; 6、distinct与group by distinct去重所有distinct之后所有的字段，如果有一个字段值不一致就不作为一条 group by是根据某一字段分组，然后查询出该条数据的所需字段，可以搭配 where max(time)或者Row_Number函数使用，求出最大的一条数据 7、使用with 临时表名 as() 的形式,简单的临时表直接嵌套进sql中，复杂的和需要复用的表写到临时表中，关联的时候先找到关联字段，过滤条件最好在临时表中先过滤后关联 处理json的函数： split(json_array_string(schools), '\\|\\|') AS schools get_json_object(school, '$.id') AS school_id, 字符串函数： 1、instr（’源字符串’ , ‘目标字符串’ ,’开始位置’,’第几次出现’） instr(sourceString,destString,start,appearPosition) 1.sourceString代表源字符串； destString代表要从源字符串中查找的子串； 2.start代表查找的开始位置，这个参数可选的，默认为1； 3.appearPosition代表想从源字符中查找出第几次出现的destString，这个参数也是可选的， 默认为1 4.如果start的值为负数，则代表从右往左进行查找，但是位置数据仍然从左向右计算。 5.返回值为：查找到的字符串的位置。如果没有查找到，返回0。 最简单例子： 在abcd中查找a的位置，从第一个字母开始查，查找第一次出现时的位置 select instr(‘abcd’,’a’,1,1) from al; —1 应用于模糊查询：instr(字段名/列名, ‘查找字段’) select code,name,dept,occupation from staff where instr(code, ‘001’)> 0; 等同于 select code, name, dept, occupation from staff where code like ‘%001%’ ; 应用于判断包含关系： select ccn,mas_loc from mas_loc where instr(‘FH,FHH,FHM’,ccn)>0; 等同于 select ccn,mas_loc from mas_loc where ccn in (‘FH’,’FHH’,’FHM’); 2、substr（string A，int start，int len）和 substring（string A，int start，int len），用法一样 substr(time,1,8) 表示将time从第1位开始截取，截取的长度为8位 第一种用法： substr（string A，int start）和 substring（string A，int start），用法一样 功效：返回字符串A从下标start位置到结尾的字符串 第二种用法： substr（string A，int start，int len）和 substring（string A，int start，int len），用法一样 功效：返回字符串A从下标start位置开始，长度为len的字符串 3、get_json_object(form_data,'$.学生姓名') as student_name json_tuple 函数的作用：用来解析json字符串中的多个字段 4、split(full_name, '\\.') [5] AS zq; 取的是数组里的第六个 日期(时间)函数： 1、to_date(event_time) 返回日期部分 2、date_sub：返回当前日期的相对时间 当前日期：select curdate() 当前日期前一天：select date_sub(curdate(),interval 1 day) 当前日期后一天：select date_sub(curdate(),interval -1 day) date_sub(from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss'), 14) 将现在的时间总秒数转为标准格式时间，返回14天之前的时间 时间戳>>>>日期： from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') 将现在的时间总秒数转为标准格式时间 from_unixtime(get_json_object(get_json_object(form_data,'$.挽单时间'),'$.$date')/1000) as retain_time unix_timestamp('2019-08-15 16:40:00','yyyy-MM-dd HH:mm:ss') –1565858400 日期>>>>时间戳：unix_timestamp() date_format：yyyy-MM-dd HH:mm:ss 时间转格式化时间 select date_format('2019-10-07 13:24:20', 'yyyyMMdd000000')– 20191007000000select date_format('2019-10-07', 'yyyyMMdd000000')– 20191007000000 1.日期比较函数: datediff语法: datediff(string enddate,string startdate) 返回值: int 说明: 返回结束日期减去开始日期的天数。 举例： hive> select datediff('2016-12-30','2016-12-29'); 1 2.日期增加函数: date_add语法: date_add(string startdate, intdays) 返回值: string 说明: 返回开始日期startdate增加days天后的日期。 举例： hive>select date_add('2016-12-29',10); 2017-01-08 3.日期减少函数: date_sub语法: date_sub (string startdate,int days) 返回值: string 说明: 返回开始日期startdate减少days天后的日期。 举例： hive>select date_sub('2016-12-29',10); 2016-12-19 4.查询近30天的数据 select * from table where datediff(current_timestamp,create_time)<=30； create_time 为table里的字段，current_timestamp 返回当前时间 2018-06-01 11:00:00 3、trunc()函数的用法：当前日期的各种第一天,或者对数字进行不四舍五入的截取 日期： 1.select trunc(sysdate) from al –2011-3-18 今天的日期为2011-3-18 2.select trunc(sysdate, 'mm') from al –2011-3-1 返回当月第一天. 上月1号 trunc(add_months(current_date(),-1),'MM') 3.select trunc(sysdate,'yy') from al –2011-1-1 返回当年第一天 4.select trunc(sysdate,'dd') from al –2011-3-18 返回当前年月日 5.select trunc(sysdate,'yyyy') from al –2011-1-1 返回当年第一天 6.select trunc(sysdate,'d') from al –2011-3-13 (星期天)返回当前星期的第一天 7.select trunc(sysdate, 'hh') from al –2011-3-18 14:00:00 当前时间为14:41 8.select trunc(sysdate, 'mi') from al –2011-3-18 14:41:00 TRUNC()函数没有秒的精确 数字：TRUNC（number,num_digits） Number 需要截尾取整的数字。Num_digits 的默认值为 0。TRUNC()函数截取时不进行四舍五入 11.select trunc(123.458,1) from al –123.4 12.select trunc(123.458,-1) from al –120 4、round()：四舍五入： select round(1.455, 2) #结果是：1.46，即四舍五入到十分位，也就是保留两位小数 select round(1.5) #默认四舍五入到个位，结果是：2 select round(255, -1) #结果是：260，即四舍五入到十位，此时个位是5会进位 floor()：地板数 ceil()天花板数 5、 6.日期转年函数: year语法: year(string date) 返回值: int 说明: 返回日期中的年。 举例： hive> select year('2011-12-08 10:03:01') from al; 2011 hive> select year('2012-12-08') fromal; 2012 7.日期转月函数: month语法: month (string date) 返回值: int 说明: 返回日期中的月份。 举例： hive> select month('2011-12-08 10:03:01') from al; 12 hive> select month('2011-08-08') fromal; 8 8.日期转天函数: day语法: day (string date) 返回值: int 说明: 返回日期中的天。 举例： hive> select day('2011-12-08 10:03:01') from al; 8 hive> select day('2011-12-24') fromal; 24 9.日期转小时函数: hour语法: hour (string date) 返回值: int 说明: 返回日期中的小时。 举例： hive> select hour('2011-12-08 10:03:01') from al; 10 10.日期转分钟函数: minute语法: minute (string date) 返回值: int 说明: 返回日期中的分钟。 举例： hive> select minute('2011-12-08 10:03:01') from al; 3 11.日期转秒函数: second语法: second (string date) 返回值: int 说明: 返回日期中的秒。 举例： hive> select second('2011-12-08 10:03:01') from al; 1 12.日期转周函数: weekofyear语法: weekofyear (string date) 返回值: int 说明: 返回日期在当前的周数。 举例： hive> select weekofyear('2011-12-08 10:03:01') from al; 49 查看hive表在hdfs中的位置：show create table 表名; 在hive中hive2hive，hive2hdfs： HDFS、本地、hive —–> Hive：使用 insert into | overwrite、loaddata local inpath "" into table student; Hive —-> Hdfs、本地：使用：insert overwrite | local 网站访问量统计： uv：每用户访问次数 ip：每ip(可能很多人)访问次数 PV:是指页面的浏览次数 VV:是指你访问网站的次数 sql： 基本函数： count、max、min、sum、avg、like、rlike（'2%'、'_2%'、%2%'、'[2]'）（java正则） and、or、not、in where、group by、having、{ join on 、full join} 、order by（desc降序） sort by需要与distribut by集合结合使用： hive (default)> set maprece.job.reces=3; //先设置rece的数量 insert overwrite local directory '/opt/mole/datas/distribute-by' row format delimited fields terminated by '\t' 先按照部门编号分区，再按照员工编号降序排序。 select * from emp distribute by deptno sort by empno desc; 外部表 create external table if not exists dept 分区表：create table dept_partition ( deptno int, dname string, loc string ) partitioned by ( month string ) load data local inpath '/opt/mole/datas/dept.txt' into table default.dept_partition partition(month='201809'); alter table dept_partition add/drop partition(month='201805') ,partition(month='201804'); 多分区联合查询：union select * from dept_partition2 where month='201809' and day='10'; show partitions dept_partition; desc formatted dept_partition; 二级分区表：create table dept_partition2 ( deptno int, dname string, loc string ) partitioned by (month string, day string) row format delimited fields terminated by '\t'; 分桶抽样查询：分区针对的是数据的存储路径；分桶针对的是数据文件 create table stu_buck(id int, name string) clustered by(id) into 4 bucketsrow format delimited fields terminated by '\t'; 设置开启分桶与rece为1： set hive.enforce.bucketing=true; set maprece.job.reces=-1; 分桶抽样：select * from stu_bucktablesample(bucket x out of y on id); 抽取，桶数/y，x是从哪个桶开始抽取，y越大 抽样数越少，y与抽样数成反比，x必须小于y 给空字段赋值： 如果员工的comm为NULL，则用-1代替或用其他字段代替 ：select nvl(comm,-1) from emp; case when:如何符合记为1，用于统计、分组统计 select dept_id, sum(case sex when '男' then 1 else 0 end) man , sum(case sex when '女' then 1 else 0 end) woman from emp_sex group by dept_id; 用于组合归类汇总(行转列)：UDAF：多转一 concat：拼接查询结果 collect_set(col)：去重汇总，产生array类型字段，类似于distinct select t.base, concat_ws('|',collect_set(t.name)) from (select concat_ws(',',xingzuo,blood_type) base,name from person_info) t group by t.base; 解释：先第一次查询得到一张没有按照（星座血型）分组的表，然后分组，使用collect_set将名字组合成数组，然后使用concat将数组变成字符串 用于拆分数据：(列转行)：UDTF：一转多 explode(col)：将hive一列中复杂的array或者map结构拆分成多行。 lateral view 侧面显示：用于和UDTF一对多函数搭配使用 用法：lateral view udtf(expression) tablealias as cate cate：炸开之后的列别名 temptable ：临时表表名 解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。 开窗函数： Row_Number,Rank，Dense_Rank over：针对统计查询使用 Row_Number：返回从1开始的序列 Rank:生成分组中的排名序号，会在名词s中留下空位。3 3 5 dense_rank：生成分组中的排名序号，不会在名词中留下空位。3 3 4 over：主要是分组排序，搭配窗口函数使用 结果： SUM、AVG、MIN、MAX、count preceding：往前 following：往后 current row：当前行 unbounded：unbounded preceding 从前面的起点， unbounded following：到后面的终点 sum：直接使用sum是总的求和，结合over使用可统计至每一行的结果、总的结果、当前行+之前多少行/之后多少行、当前行到往后所有行的求和。 over(rowsbetween 3/current ) 当前行到往后所有行的求和 ntile：分片，结合over使用，可以给数据分片，返回分片号 使用场景：统计出排名前百分之或n分之一的数据。 lead,lag,FIRST_VALUE,LAST_VALUE lag与lead函数可以返回上下行的数据 lead(col,n,dafault) 用于统计窗口内往下第n行值 第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） 使用场景：通常用于统计某用户在某个网页上的停留时间 FIRST_VALUE:取分组内排序后，截止到当前行，第一个值 LAST_VALUE:取分组内排序后，截止到当前行,最后一个值 范围内求和: https://blog.csdn.net/happyrocking/article/details/105369558 cume_dist，percent_rank –CUME_DIST :小于等于当前值的 行数 / 分组内总行数 –比如，统计小于等于当前薪水的人数，占总人数的比例 percent_rank:分组内当前行的RANK值-1/分组内总行数-1 总结： 在Spark中使用spark sql与hql一致，也可以直接使用sparkAPI实现。 HiveSql窗口函数主要应用于求TopN，分组排序TopN、TopN求和，前多少名前百分之几。 与Flink窗口函数不同。 Flink中的窗口是用于将无线数据流切分为有限块处理的手段。 window分类： CountWindow：按照指定的数据条数生成一个 Window，与时间无关。 TimeWindow：按照时间生成 Window。 1. 滚动窗口（Tumbling Windows）：时间对齐，窗口长度固定，不重叠：：常用于时间段内的聚合计算 2.滑动窗口（Sliding Windows）：时间对齐，窗口长度固定，可以有重叠：：适用于一段时间内的统计（某接口最近 5min 的失败率来报警） 3. 会话窗口（Session Windows）无时间对齐，无长度，不重叠：：设置session间隔，超过时间间隔则窗口关闭。
『贰』 Hive SQL语句执行顺序
Hive 中 sql 语句的执行顺序如下：
from .. where .. join .. on .. select .. group by .. select .. having .. distinct .. order by .. limit .. union/union all
下面我们通过一个 sql 语句分析下：
上面这条 sql 语句是可以成功执行的，我们看下它在 MR 中的执行顺序：
Map 阶段 ：
Rece 阶段 ：
上面这个执行顺序到底对不对呢，我们可以通过 explain 执行计划来看下，内容过多，我们分阶段来看。
我们看到 Stage-5 是根，也就是最先执行 Stage-5，Stage-2 依赖 Stage-5，Stage-0 依赖 Stage-2。
图中标 ① 处是表扫描操作，注意先扫描的 b 表，也就是 left join 后面的表，然后进行过滤操作（图中标 ② 处），我们 sql 语句中是对 a 表进行的过滤，但是 Hive 也会自动对 b 表进行相同的过滤操作，这样可以减少关联的数据量。
先扫描 a 表（图中标 ① 处）；接下来进行过滤操作 idno > �'（图中标 ② 处）；然后进行 left join，关联的 key 是 idno（图中标 ③ 处）；执行完关联操作之后会进行输出操作，输出的是三个字段，包括 select 的两个字段加 group by 的一个字段（图中标 ④ 处）；然后进行 group by 操作，分组方式是 hash（图中标 ⑤ 处）；然后进行排序操作，按照 idno 进行正向排序（图中标 ⑥ 处）。
首先进行 group by 操作，注意此时的分组方式是 mergepartial 合并分组（图中标 ① 处）；然后进行 select 操作，此时输出的字段只有两个了，输出的行数是 30304 行（图中标 ② 处）；接下来执行 having 的过滤操作，过滤出 count_user>1 的字段，输出的行数是 10101 行（图中标 ③ 处）；然后进行 limit 限制输出的行数（图中标 ④ 处）；图中标 ⑤ 处表示是否对文件压缩，false 不压缩。
限制最终输出的行数为 10 行。
通过上面对 SQL 执行计划的分析，总结以下几点：
『叁』 hive支持以下哪些sql特性
一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_al where 1=1; 12. 不等值比较: <> 语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where 1 <> 2;13. 小于比较: < 语法: A < B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于表达式B，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where 1 < 2;14. 小于等于比较: <=语法: A <= B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A小于或者等于表达式B，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where 1 <= 1;15. 大于比较: >语法: A > B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于表达式B，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where 2 > 1;16. 大于等于比较: >=语法: A >= B操作类型: 所有基本类型描述: 如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A大于或者等于表达式B，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where 1 >= 1;1注意：String的比较要注意(常用的时间比较可以先to_date之后再比较)hive> select* from lxw_al;OK201111120900:00:00 2011111209hive> selecta,b,a<b,a>b,a=b from lxw_al;201111120900:00:00 2011111209 false true false7. 空值判断: IS NULL语法: A IS NULL操作类型: 所有类型描述: 如果表达式A的值为NULL，则为TRUE；否则为FALSE举例：hive> select1 from lxw_al where null is null;18. 非空判断: IS NOTNULL语法: A IS NOT NULL操作类型: 所有类型描述: 如果表达式A的值为NULL，则为FALSE；否则为TRUE举例：hive> select1 from lxw_al where 1 is not null;19. LIKE比较: LIKE语法: A LIKE B操作类型: strings描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B 的正则语法，则为TRUE；否则为FALSE。B中字符”_”表示任意单个字符，而字符”%”表示任意数量的字符。举例：hive> select1 from lxw_al where 'football' like 'foot%';1hive> select1 from lxw_al where 'football' like 'foot____';1注意：否定比较时候用NOT ALIKE Bhive> select1 from lxw_al where NOT 'football' like 'fff%';110. JAVA的LIKE操作: RLIKE语法: A RLIKE B操作类型: strings描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合JAVA正则表达式B的正则语法，则为TRUE；否则为FALSE。举例：hive> select1 from lxw_al where 'footbar’ rlike '^f.*r$’;1注意：判断一个字符串是否全为数字：hive>select 1from lxw_al where '123456' rlike '^\\d+$';1hive> select1 from lxw_al where '123456aa' rlike '^\\d+$';11. REGEXP操作: REGEXP语法: A REGEXP B操作类型: strings描述: 功能与RLIKE相同举例：hive> select1 from lxw_al where 'footbar' REGEXP '^f.*r$';1二、数学运算：1. 加法操作: +语法: A + B操作类型：所有数值类型说明：返回A与B相加的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int + int 一般结果为int类型，而int + double 一般结果为double类型举例：hive> select1 + 9 from lxw_al;10hive> createtable lxw_al as select 1 + 1.2 from lxw_al;hive>describe lxw_al;_c0 double2. 减法操作: -语法: A – B操作类型：所有数值类型说明：返回A与B相减的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。比如，int – int 一般结果为int类型，而int – double 一般结果为double类型举例：hive> select10 – 5 from lxw_al;5hive> createtable lxw_al as select 5.6 – 4 from lxw_al;hive>describe lxw_al;_c0 double3. 乘法操作: *语法: A * B操作类型：所有数值类型说明：返回A与B相乘的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。注意，如果A乘以B的结果超过默认结果类型的数值范围，则需要通过cast将结果转换成范围更大的数值类型举例：hive> select40 * 5 from lxw_al;2004. 除法操作: /语法: A / B操作类型：所有数值类型说明：返回A除以B的结果。结果的数值类型为double举例：hive> select40 / 5 from lxw_al;8.0注意：hive中最高精度的数据类型是double,只精确到小数点后16位，在做除法运算的时候要特别注意hive>select ceil(28.0/6.999999999999999999999) from lxw_allimit 1; 结果为4hive>select ceil(28.0/6.99999999999999) from lxw_al limit1; 结果为55. 取余操作: %语法: A % B操作类型：所有数值类型说明：返回A除以B的余数。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。举例：hive> select 41 % 5 from lxw_al;1hive> select 8.4 % 4 from lxw_al;0.40000000000000036注意：精度在hive中是个很大的问题，类似这样的操作最好通过round指定精度hive> select round(8.4 % 4 , 2) from lxw_al;0.46. 位与操作: &语法: A & B操作类型：所有数值类型说明：返回A和B按位进行与操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。举例：hive> select 4 & 8 from lxw_al;0hive> select 6 & 4 from lxw_al;47. 位或操作: |语法: A | B操作类型：所有数值类型说明：返回A和B按位进行或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。举例：hive> select 4 | 8 from lxw_al;12hive> select 6 | 8 from lxw_al;148. 位异或操作: ^语法: A ^ B操作类型：所有数值类型说明：返回A和B按位进行异或操作的结果。结果的数值类型等于A的类型和B的类型的最小父类型（详见数据类型的继承关系）。举例：hive> select 4 ^ 8 from lxw_al;12hive> select 6 ^ 4 from lxw_al;29．位取反操作: ~语法: ~A操作类型：所有数值类型说明：返回A按位取反操作的结果。结果的数值类型等于A的类型。举例：hive> select ~6 from lxw_al;-7hive> select ~4 from lxw_al;-5三、逻辑运算：1. 逻辑与操作: AND语法: A AND B操作类型：boolean说明：如果A和B均为TRUE，则为TRUE；否则为FALSE。如果A为NULL或B为NULL，则为NULL举例：hive> select 1 from lxw_al where 1=1 and 2=2;12. 逻辑或操作: OR语法: A OR B操作类型：boolean说明：如果A为TRUE，或者B为TRUE，或者A和B均为TRUE，则为TRUE；否则为FALSE举例：hive> select 1 from lxw_al where 1=2 or 2=2;13. 逻辑非操作: NOT语法: NOT A操作类型：boolean说明：如果A为FALSE，或者A为NULL，则为TRUE；否则为FALSE举例：hive> select 1 from lxw_al where not 1=2;1四、数值计算1. 取整函数: round语法: round(double a)返回值: BIGINT说明: 返回double类型的整数值部分（遵循四舍五入）举例：hive> select round(3.1415926) from lxw_al;3hive> select round(3.5) from lxw_al;4hive> create table lxw_al as select round(9542.158) fromlxw_al;hive> describe lxw_al;_c0 bigint2. 指定精度取整函数: round语法: round(double a, int d)返回值: DOUBLE说明: 返回指定精度d的double类型举例：hive> select round(3.1415926,4) from lxw_al;3.14163. 向下取整函数: floor语法: floor(double a)返回值: BIGINT说明: 返回等于或者小于该double变量的最大的整数举例：hive> select floor(3.1415926) from lxw_al;3hive> select floor(25) from lxw_al;254. 向上取整函数: ceil语法: ceil(double a)返回值: BIGINT说明: 返回等于或者大于该double变量的最小的整数举例：hive> select ceil(3.1415926) from lxw_al;4hive> select ceil(46) from lxw_al;465. 向上取整函数: ceiling语法: ceiling(double a)返回值: BIGINT说明: 与ceil功能相同举例：hive> select ceiling(3.1415926) from lxw_al;4hive> select ceiling(46) from lxw_al;466. 取随机数函数: rand语法: rand(),rand(int seed)返回值: double说明: 返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列举例：hive> select rand() from lxw_al;0.5577432776034763hive> select rand() from lxw_al;0.6638336467363424hive> select rand(100) from lxw_al;0.7220096548596434hive> select rand(100) from lxw_al;0.72200965485964347. 自然指数函数: exp语法: exp(double a)返回值: double说明: 返回自然对数e的a次方举例：hive> select exp(2) from lxw_al;7.38905609893065自然对数函数: ln语法: ln(double a)返回值: double说明: 返回a的自然对数举例：hive> select ln(7.38905609893065) from lxw_al;2.08. 以10为底对数函数: log10语法: log10(double a)返回值: double说明: 返回以10为底的a的对数举例：hive> select log10(100) from lxw_al;2.09. 以2为底对数函数: log2语法: log2(double a)返回值: double说明: 返回以2为底的a的对数举例：hive> select log2(8) from lxw_al;3.010. 对数函数: log语法: log(double base, double a)返回值: double说明: 返回以base为底的a的对数举例：hive> select log(4,256) from lxw_al;4.011. 幂运算函数: pow语法: pow(double a, double p)返回值: double说明: 返回a的p次幂举例：hive> select pow(2,4) from lxw_al;16.012. 幂运算函数: power语法: power(double a, double p)返回值: double说明: 返回a的p次幂,与pow功能相同举例：hive> select power(2,4) from lxw_al;16.013. 开平方函数: sqrt语法: sqrt(double a)返回值: double说明: 返回a的平方根举例：hive> select sqrt(16) from lxw_al;4.014. 二进制函数: bin语法: bin(BIGINT a)返回值: string说明: 返回a的二进制代码表示举例：hive> select bin(7) from lxw_al;11115. 十六进制函数: hex语法: hex(BIGINT a)返回值: string说明: 如果变量是int类型，那么返回a的十六进制表示；如果变量是string类型，则返回该字符串的十六进制表示举例：hive> select hex(17) from lxw_al;11hive> select hex(‘abc’) from lxw_al;61626316. 反转十六进制函数: unhex语法: unhex(string a)返回值: string说明: 返回该十六进制字符串所代码的字符串举例：hive> select unhex(‘616263’)from lxw_al;abchive> select unhex(‘11’)from lxw_al;-hive> select unhex(616263) from lxw_al;abc17. 进制转换函数: conv语法: conv(BIGINT num, int from_base, int to_base)返回值: string说明: 将数值num从from_base进制转化到to_base进制举例：hive> select conv(17,10,16) from lxw_al;11hive> select conv(17,10,2) from lxw_al;1000118. 绝对值函数: abs语法: abs(double a) abs(int a)返回值: double int说明: 返回数值a的绝对值举例：hive> select abs(-3.9) from lxw_al;3.9hive> select abs(10.9) from lxw_al;10.919. 正取余函数: pmod语法: pmod(int a, int b),pmod(double a, double b)返回值: int double说明: 返回正的a除以b的余数举例：hive> select pmod(9,4) from lxw_al;1hive> select pmod(-9,4) from lxw_al;320. 正弦函数: sin语法: sin(double a)返回值: double说明: 返回a的正弦值举例：hive> select sin(0.8) from lxw_al;0.717356090899522821. 反正弦函数: asin语法: asin(double a)返回值: double说明: 返回a的反正弦值举例：hive> select asin(0.7173560908995228) from lxw_al;0.822. 余弦函数: cos语法: cos(double a)返回值: double说明: 返回a的余弦值举例：hive> select cos(0.9) from lxw_al;0.621609968270664423. 反余弦函数: acos语法: acos(double a)返回值: double说明: 返回a的反余弦值举例：hive> select acos(0.6216099682706644) from lxw_al;0.924. positive函数: positive语法: positive(int a), positive(double a)返回值: int double说明: 返回a举例：hive> select positive(-10) from lxw_al;-10hive> select positive(12) from lxw_al;1225. negative函数: negative语法: negative(int a), negative(double a)返回值: int double说明: 返回-a举例：hive> select negative(-5) from lxw_al;5hive> select negative(8) from lxw_al;-8
『肆』 Hive基础之Hive是什么以及Hive使用场景
Hive是什么1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；5）Hive没有专门的数据格式（分隔符等可以自己灵活的设定）；ETL的流程（Extraction-Transformate-Loading）：将关系型数据库的数据抽取到HDFS上，hive作为数据仓库，经过hive的计算分析后，将结果再导入到关系型数据库的过程。Hive是构建在Hadoop之上的数据仓库1）使用HQL作为查询接口；2）使用HDFS作为存储；3）使用MapRece作为计算； Hive应用场景数据源：1）文件数据，如中国移动某设备每天产生大量固定格式的文件；2）数据库以上两种不同的数据源有个共同点：要使用hive，那么必须要将数据放到hive中；通常采用如下两种方式：1）文件数据：load到hive2）数据库: sqoop到hive数据的离线处理；hive的执行延迟比较高，因为hive常用于数据分析的，对实时性要求不高；hive优势在于处理大数据，对于处理小数据没有优势，因为hive的执行延迟比较高。处理数据存放在hive表中，那么前台系统怎么去访问hive的数据呢？先将hive的处理结果数据转移到关系型数据库中才可以，sqoop就是执行导入导出的操作
『伍』 hive获取多个分区表的数据与其他数据库有什么异同
1.查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。2. 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在本地文件系统中。3. 数据格式。Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此，Hive 在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。4. 数据更新。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE …SET 修改数据。5. 索引。之前已经说过，Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些 Key 建立索引。Hive 要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapRece 的引入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive 仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了 Hive 不适合在线数据查询。6. 执行。Hive 中大多数查询的执行是通过 Hadoop 提供的 MapRece 来实现的（类似 select * from tbl的查询不需要 MapRece）。而数据库通常有自己的执行引擎。7. 执行延迟。之前提到，Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapRece 框架。由于 MapRece 本身具有较高的延迟，因此在利用 MapRece 执行 Hive 查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。8. 可扩展性。由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的（世界上最大的 Hadoop 集群在 Yahoo!，2009年的规模在 4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有 100 台左右。9. 数据规模。由于 Hive 建立在集群上并可以利用 MapRece 进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。
『陆』 hive如何同时执行多段sql
hive sql放到文件当中，之后 hive -f filename执行
『柒』 hive写sql怎么指定编码格式
hive写sql怎么指定编码格式使用maven进行打包：打包命令： mvn -Pyarn -Dhadoop.version=2.3.0-cdh5.0.0 -Phive -Phive-thriftserver -DskipTests clean package
『捌』 hive sql 怎么不能这样写啊 （mysql 是没有问题的）
你可以先用hive或者手写map/rece程序。建议你直接使用hive，hive也像mysql一样可以建表。表里的数据就是对应从本地load到hadoop上的文件，格式自己定。然后用JDBC可以像操作mysql一样操作hive（sql语法稍有不同）
『玖』 hive sql的语法帮助在哪
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapRece任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉maprece 的用户很方便的利用SQL 语言查询，汇总，分析数据。而maprece开发人员可以把己写的mapper 和recer 作为插件来支持Hive 做更复杂的数据分析。 它与关系型数据库的SQL 略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。 HIVE的特点：可伸缩（在Hadoop的集群上动态的添加设备），可扩展，容错，输入格式的松散耦合。1. DDL 操作DDL?建表?删除表?修改表结构?创建／删除视图?创建数据库?显示命令建表：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)] [CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]?CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常?EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION）?LIKE 允许用户复制现有的表结构，但是不复制数据?COMMENT可以为表与字段增加描述 ?ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char] | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)] 用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，将会使用自带的 SerDe。在建表的时候，用户还需要为表指定列，用户在指定表的列的同时也会指定自定义的 SerDe，Hive 通过 SerDe 确定表的具体的列的数据。?STORED AS SEQUENCEFILE | TEXTFILE | RCFILE | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname 如果文件数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 STORED AS SEQUENCE 。创建简单表：hive> CREATE TABLE pokes (foo INT, bar STRING); 创建外部表：CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User', country STRING COMMENT 'country of origination') COMMENT 'This is the staging page view table' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\054' STORED AS TEXTFILE LOCATION '';建分区表CREATE TABLE par_table(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') COMMENT 'This is the page view table' PARTITIONED BY(date STRING, pos STRING)ROW FORMAT DELIMITED ‘\t’ FIELDS TERMINATED BY '\n'STORED AS SEQUENCEFILE;建Bucket表CREATE TABLE par_table(viewTime INT, userid BIGINT, page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User') COMMENT 'This is the page view table' PARTITIONED BY(date STRING, pos STRING) CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKETS ROW FORMAT DELIMITED ‘\t’ FIELDS TERMINATED BY '\n'STORED AS SEQUENCEFILE;创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 复制一个空表CREATE TABLE empty_key_value_storeLIKE key_value_store;例子create table user_info (user_id int, cid string, ckid string, username string) row format delimited fields terminated by '\t' lines terminated by '\n';导入数据表的数据格式是：字段之间是tab键分割，行之间是断行。及要我们的文件内容格式：100636 100890 c5c86f4cddc15eb7 yyyvybtvt100612 100865 97cc70d411c18b6f gyvcycy100078 100087 ecd6026a15ffddf5 qa000100显示所有表：hive> SHOW TABLES;按正条件（正则表达式）显示表，hive> SHOW TABLES '.*s';修改表结构?增加分区、删除分区?重命名表?修改列的名字、类型、位置、注释?增加/更新列?增加表的元数据信息表添加一列 ：hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);添加一列并增加列字段注释hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');更改表名：hive> ALTER TABLE events RENAME TO 3koobecaf;删除列：hive> DROP TABLE pokes;增加、删除分区?增加ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] … partition_spec: : PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, …)?删除ALTER TABLE table_name DROP partition_spec, partition_spec,…重命名表?ALTER TABLE table_name RENAME TO new_table_name 修改列的名字、类型、位置、注释：?ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]?这个命令可以允许改变列名、数据类型、注释、列位置或者它们的任意组合表添加一列 ：hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);添加一列并增加列字段注释hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');增加/更新列?ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], …) ? ADD是代表新增一字段，字段位置在所有列后面(partition列前) REPLACE则是表示替换表中所有字段。增加表的元数据信息?ALTER TABLE table_name SET TBLPROPERTIES table_properties table_properties: :[property_name = property_value…..] ?用户可以用这个命令向表中增加metadata改变表文件格式与组织?ALTER TABLE table_name SET FILEFORMAT file_format?ALTER TABLE table_name CLUSTERED BY(userid) SORTED BY(viewTime) INTO num_buckets BUCKETS
未经允许不得转载：山九号 » hive执行sql文件格式|hive sql的语法帮助在哪
