导入Mysql类型的数据,支持:
用户属性数据导入
用户行为数据导入
python3 format_importer.py -m user_variables \-ds <数据源ID> \-f <文件格式> \-db_host <数据库连接地址> \-db_user <数据库连接用户> \-db_password <数据库连接密码> \[-db_port<数据库连接端口号] \-sql <查询语句>
ds:必选参数,数据源ID在前端获得,操作详见附录
f:必选参数,导入数据格式,填写:mysql
db_host:必选参数,数据库连接地址
db_user:必选参数,数据库连接用户名
db_password:必选参数,数据库连接密码
db_port:可选参数,数据库连接端口,默认3306
sql:必选参数,查询语句,输出列须包含userId字段,其他字段须已在用户属性中定义
例如,数据库中用户表为db.user,需要导入的字段及部分行数据如下:
userid | gender | age | viplevel |
123 | 男 | 19 | 初级 |
234 | 女 | 38 | 中级 |
345 | 男 | 22 | 高级 |
假设待导入的字段gender、age和viplevel已在用户属性中创建,则sql参数可编写为如下:
select userid as userId,gender as gender,age as age,viplevel as viplevelfrom db.user
脚本执行成功,用户属性数据导入后,系统将立即进行相关指标的计算,在前端可以查看计算进度
python3 format_importer.py -m events \-ds <数据源ID> \-f <文件格式> \-db_host <数据库连接地址> \-db_user <数据库连接用户> \-db_password <数据库连接密码> \[-db_port<数据库连接端口号] \-sql <查询语句> \-s <数据起始日期> \-e <数据结束日期>
ds:必选参数,数据源ID在前端获得,操作详见附录
f:必选参数,导入数据格式,填写:mysql
db_host:必选参数,数据库连接地址
db_user:必选参数,数据库连接用户名
db_password:必选参数,数据库连接密码
db_port:可选参数,数据库连接端口,默认3306
sql:必选参数,查询语句。输出列须包含userId、event和timestamp字段,其中event为埋点事件名,timestamp为事件发生的时间戳,单位是毫秒。其他字段须已在用户属性中定义
s:必选参数,导入用户行为数据的起始日期,格式:YYYY-MM-DD
e:必选参数,导入用户行为数据的结束日期,格式:YYYY-MM-DD
例如,数据库中用户表为db.event,需要导入的用户行为数据如下:
userid | event | event_time | prod_id | price | color |
123 | ViewProd | 2020-01-01 01:01:01 | 1 | 19.0 | 红 |
234 | ViewProd | 2020-01-02 02:02:02 | 2 | 38.1 | 绿 |
345 | ViewProd | 2020-01-03 03:03:03 | 3 | 22.2 | 蓝 |
假设对应的行为事件属性名prod_id、price和color已在事件属性中创建,则sql参数可编写为如下:
select userid as userId,event as event,unix_timestamp(event_time)*1000 as timestamp,prod_id as prod_id,price as price,color as colorfrom db.event
脚本执行成功,用户行为数据导入后,系统将立即进行相关指标的计算,在前端可以查看计算进度
辅助工具下载
前端创建数据源,进入数据源管理页面:
创建 用户属性数据 导入数据源,操作方式:新建数据源 > 历史数据导入 > 用户属性数据
创建 用户行为数据 导入数据源,操作方式:新建数据源 > 历史数据导入 > 用户行为数据
创建后,在数据源管理列表页面查看相应的数据源ID: