hive存储换行符等特殊字符

hive

字数统计: 119阅读时长: 1 min

 2019/08/06   Share

etl抽取oracle数据到hive库中的时候，oracle表中如果有换行符如:‘\n\r’，会造成当前行的数据错位。

原来是因为hive默认的存储方式是textfile，这种方式不支持存储换行符。

方案一、替换这些特殊字符：

1	regexp_replace(t.test, '\n\|\t\|\r', '')

方案二、修改表的存储格式为:parquet

drop table if exists test_table;
create table test_table(
	create_by string comment '',
	create_time date comment '',
	update_by string comment '',
	update_time date comment ''
)
comment 'test_table'
partitioned by(inc_day string)
stored as parquet;

原文作者：styytNOTstop

原文链接：https://styyt.github.io/2019/08/06/hive%E5%AD%98%E5%82%A8%E6%8D%A2%E8%A1%8C%E7%AC%A6%E7%AD%89%E7%89%B9%E6%AE%8A%E5%AD%97%E7%AC%A6/

发表日期：August 6th 2019, 11:14:24 am

更新日期：August 6th 2019, 2:12:00 pm

Next Post

hibernate4监听器的实现简单解析
Previous Post

tomcat,jetty,jboss跨域配置

CATALOG

