admin管理员组

文章数量:1567554

絮叨两句:
博主是一名软件工程系的在校生,利用博客记录自己所学的知识,也希望能帮助到正在学习的同学们
人的一生中会遇到各种各样的困难和折磨，逃避是解决不了问题的，唯有以乐观的精神去迎接生活的挑战
少年易老学难成，一寸光阴不可轻。
最喜欢的一句话:今日事,今日毕

页数名称
上一页企业级360°全方位用户画像:项目工程演示[三]
企业级360°全方位用户画像:标签系统[四]
下一页企业级360°全方位用户画像:环境搭建[五]

文章目录

  • 前言
  • 标签系统
    • 基础标签
    • 组合标签
    • 微观画像
    • 标签查询

前言

这一章内容是详细的为大家介绍标签系统，废话不多说直奔主题

提示：以下是本篇文章正文内容，下面案例可供参考

标签系统

基础标签

概览：基础标签

              启动WEB 项目后，浏览器登录，默认账号与密码，点击【登录】即可，下图所示：

              进入系统后，直接显示【基础标签】页面，重要功能如下所示：

              上述所表述的5个按钮，主要构建标签、查看标签和编辑标签，具体说明如下：

  • 基础标签 Tag页
  • 基础标签 分类
            按照标签体系划分标签为4级、5级标签
           - 4级标签：业务标签
           - 5级标签：业务标签对应的值（属性标签）
  • 新建主分类标签
    1级、2级、3级分类标签
  • 创建业务标签
    具体业务标签，其中有很多相关设置，
    关于标签如何构建（读取数据源、运行Spark程序及调度策略）
  • 针对业务标签操作
    - 启动：业务标签运行程序生成标签
    - 编辑：修改业务标签属性
    - 删除：将业务标签删除

新建：主分类标签
               用户画像构建时，标签按照等级划分，大致如下所示：

               在WEB界面上，点击左下角【新建主分类标签】按钮，即可新建1级、2级和3级标签：


注意:但是如果要删除1级、2级和3级标签，必须到后台数据库删除。

新建：业务标签

              新建某个业务标签（实际开发标签，编写Spark 应用程序），截图选项如下:

具体参数说明如下（以新建【年龄段】业务标签为例）：

  • 标签名称：年龄段
  • 标签分类：商城-某商城-人口属性

                         - 业务标签属于4级标签，所以分类时指定所属3级标签

  • 更新周期：每天#2019-08-01 01:00#2029-08-01 01:00

                         - 多久执行一次Spark任务

  • 业务含义：注册用户的生日所属年龄段

                         - 业务标签含义说明

  • 标签规则：Key=Value形式，按照换行符分割

                          - inType=hbase
                          - zkHosts=192.168.10.20
                          - zkPort=2181
                          - hbaseTable=tbl_users
                          - family=info
                         - selectFieldNames=id,gender

  • 程序入口：cn.itcast.tagmons.models.pub.business.AgeRangeModel

                         - Spark Application程序的全名称

  • 算法名称：Statistics

                         - 业务标签计算模型类型：
                                        统计-Statistics
                                        规则匹配-Match
                                        挖掘-具体算法-DecisionTree
                                        KMeans

  • 算法引擎：/apps/tags/models/tag_9/lib/tags-20190703231621.jar

                         - Spark应用程序JAR包，通过页面选择jar包，上传到HDFs目录中

  • 模型参数：Spark 应用程序执行资源参数设置

                         --deploy-mode cluster
                         --driver-memory 2G
                         --executor-memory 4G
                         --num-executors 5
                         --executor-cores 2

完整信息截图如下所示：

存储：标签数据
               上述新建的标签数据存储MySQL数据库中，对应两张表存储数据，分别为标签表：tbl_basic_tag和模型表：tbl_model，具体说明如下：
  • 标签表：tbl_basic_tag，存储标签的基本信息，属于基础标签
CREATE TABLE `tbl_basic_tag` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '标签ID',
  `name` varchar(50) DEFAULT NULL COMMENT '标签名称',
  `industry` varchar(30) DEFAULT NULL COMMENT '行业、子行业、业务类型、标签、属性',
  `rule` varchar(300) DEFAULT NULL COMMENT '标签规则',
  `business` varchar(100) DEFAULT NULL COMMENT '业务描述',
  `level` int(11) DEFAULT NULL COMMENT '标签等级',
  `pid` bigint(20) DEFAULT NULL COMMENT '父标签ID',
  `ctime` datetime DEFAULT NULL COMMENT '创建时间',
  `utime` datetime DEFAULT NULL COMMENT '修改时间',
  `state` int(11) DEFAULT NULL COMMENT '状态：1申请中、2开发中、3开发完成、4已上线、5已下线、6已禁用',
  `remark` varchar(100) DEFAULT NULL COMMENT '备注',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=233 DEFAULT CHARSET=utf8 COMMENT='基础标签表';
  • 模型表：tbl_model，存储每个4级标签具体Spark 应用程序相关信息，对应与基础标签
CREATE TABLE `tbl_model` (
  `id` bigint(20) DEFAULT NULL,
  `tag_id` bigint(20) DEFAULT NULL COMMENT '标签ID',
  `type` int(11) DEFAULT NULL COMMENT '算法类型：统计-Statistics、规则匹配-Match、挖掘-具体算法-DecisionTree',
  `model_name` varchar(200) DEFAULT NULL COMMENT '模型名称',
  `model_main` varchar(200) DEFAULT NULL COMMENT '模型运行主类名称',
  `model_path` varchar(200) DEFAULT NULL COMMENT '模型JAR包HDFS路径',
  `sche_time` varchar(200) DEFAULT NULL COMMENT '模型调度时间',
  `ctime` datetime DEFAULT NULL COMMENT '创建模型时间戳',
  `utime` datetime DEFAULT NULL COMMENT '更新模型时间戳',
  `state` int(11) DEFAULT NULL COMMENT '模型状态，1：运行；0：停止',
  `remark` varchar(100) DEFAULT NULL,
  `operator` varchar(100) DEFAULT NULL,
  `operation` varchar(100) DEFAULT NULL,
  `args` varchar(100) DEFAULT NULL COMMENT '模型运行应用配置参数，如资源配置参数'
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
提示:
     依据上述两张表可以通过关联查询可以获取WEB 页面上表的基本信息，SQL如下（传递标签ID）： 
USE tags ;

SELECT
    tb.id AS tagId, tb.`name` AS tagName, tb.business, tb.industry,
    tb.`level`, tb.rule, tb.model_main AS modelMain, tb.model_name AS modelName,
    tb.model_path AS modelPath, tb.sche_time AS schetime, tb.args
FROM (
         SELECT
             tb1.id, tb1.`name`, tb1.business, tb1.industry,
             tb1.`level`, tb1.pid, tb1.state, tb2.model_main,
             tb2.model_name, tb2.model_path, tb2.sche_time,
             tb3.rule, tb2.args
         FROM
             tbl_basic_tag tb1
                 INNER JOIN
             tbl_model tb2
             ON
                     tb1.id = tb2.tag_id
                 INNER JOIN
             tbl_rule tb3 ON tb1.id = tb3.tag_id
     ) tb
WHERE
        1 = 1 AND tb.state != -1 AND tb.id = 8 ;
新建：5级标签
               每个业务标签（4级标签）对应值称之为5级标签，所以在新建业务标签（4级标签）以后，需要在其下面新建具体的值（5级标签），如下图所示：

              字段具体说明：


                     '"标签名称：50后"
                     '"业务含义：注册会员出生日期为1950年-1959年区间的"
                     '"标签规则：19500101-19591231"
               每个业务标签（4级标签）对应值称之为5级标签，所以在新建业务标签（4级标签）以后，需要在其下面新建具体的值（5级标签），如下图所示：

总述：新建标签
               依据上述分析，如果要开发一个标签，业务需求整理完成以后，需在平台上新建标签，统一管理调度执行，以新建：【人口属性】-【性别标签】为例：

  • 新建业务标签（4级标签）

  • 新建业务标签值标签（5级标签、属性标签）：性别标签有两个值-男和女

组合标签

       基于已经存在的【基础标签】进行逻辑组合，形成特定业务标签，如下列举4个组合标签：

       WEB 系统展示如下：

       新建【组合标签】，具体操作如下图步骤：

       选择【业务标签】，再选取对应的值，点击【添加】按钮，所有标签选择完成后，单击【下一步】。

       组合标签名称、含义及用途等信息，最后保存并提交申请。


微观画像

       依据用户：身份证号、手机号、QQ及Email，检索查询用户所有标签信息，构建展示用户画像信息。

       使用官方提供的身份证号【110115199402265244】查询检索，展示结果如下：

标签查询

       依据标签筛选（各种标签组合）查询对应用户信息，底层使用solr完成。

如能帮助到你或对大数据有兴趣的可以关注一下,希望能点个赞支持一下谢谢!

本文标签： 企业级画像标签用户系统

版权声明：本文标题：企业级360°全方位用户画像:标签系统[四] 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/xitong/1725802589a1043707.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。