`
- 浏览:
291908 次
- 性别:
- 来自:
杭州
-
历经了一周几乎天天加班的日子,终于把这个提取靠谱数据的复杂规则需求搞定了,现在对做这次需求做一些总结:
①、接到需求时是三周以前,当时改需求的优先级并不高,所以先忙于其他淘单的优化点,之后的一周里我把提取数据的hive和会调用的接口都已经整理好,但是一直没有开始在云梯上执行,原因是之前志宏说在做每一个需求之前自己把思路理清楚,设计流程跟他讲一遍,避免一些错误和弯路,而他那阶段比较忙,所以拖了几天也没空帮我review一下提取流程,于是我在这几天里也没有做,虽然第二周来我没有等他review就决定自己先去做了,但是因为提取过程比较复杂还是导致后面的时间比较紧张,几乎天天加班,这次我时间安排不合理是影响日常进度的一个重要原因,虽然PM没时间,但是我自己要主动去做这个事情,除了写好hive之外还可以把调用接口判断排除卖家账号,排除黑名单用户,根据评论实拍图排序等代码写好,先测试保证功能正确,之后在跑数据时候不懂的地方再请教一下,这样我就有足够的时间来完成这个需求了,虽然在这过程中可能会出现一些弯路或者错误,但这样才能真正获得成长,这是我总结反思并且日后要改进的第一点;
②、在写代码时候,考虑不全面,走了些弯路,在过滤不合格用户时候只是读取id文件对id进行过滤没有把用户对应的分享数量count同时过滤掉,导致了得到最终用户群体时候,用户id和count无法做匹配了,只能又写方法取读取最早从云梯上获取的表(userId,count),用最终用户id去判断取出count,正确的做法应该是:在第一次读取文件时候就应该把id 和count一起读取进来,对用户进行过滤时候顺便就可以过滤掉对应的count,这样可以避免循环读取文件操作;
③、整个代码里对map的使用过多,不仅耗内存,也被其的生命周期管理搞得很晕,稍不留神就容易出错,昨天听了志宏给我讲解他的设计思路,整个代码里面基本没有用到map,一个一个userId走完所有的流程,比较清晰,而我是单个个批量操作混合在一起,感觉有点乱,因为这个代码基本是一次性使用的,所以后续不想去优化了,嘿嘿;
④、在写代码的时候犯了很多低级错误,这是十分不应该的,浪费了很多时间去检查,以后要改正,写代码时候要集中精力,不要心不在焉,写完之后做一遍大致的检查,把明显的错误排除掉!!
⑤、有时候是想得清楚过程,但是不完全写的出来,这个还是基础不牢,项目经验少,要在平时加强学习和练习并沉淀,赶快成长起来。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
淘宝top40万类目词库-pc端 电脑端
基于htmlparser的维基百科类目提取程序 可设置提取的类目树深度
淘宝top20万类目词库
电商,淘宝全类目TOP20万搜索词记录表
【解数】酒类行业调研:大类目下细分火热赛道数据趋势.pdf
类目改造-需求及线框图_产品矩阵线框图,介绍类目和发布类目
2020年天猫美妆(彩妆_香水_美妆工具)业绩占比TOP10类目.xls
自己整理的淘宝商品全部类目,包含了四级类目,信息为各类目的名称,类目id,类目层级 更新于2020年11月,该文件为sql文件
淘宝类目大全 详细类目 一级类目 二级类目 三级类目 详细精准
双冠家园宝贝类目查询工具 淘宝类目一键查询软件 天猫分类查询
电商类商城类目整理,分享给大家,京东天猫过于混乱
自己整理的拼多多商品全部类目,包含了四级类目,信息为各类目的名称,类目id,类目层级 更新于2020年11月,该文件为sql文件
自己整理的淘宝商品全部类目,包含了四级类目,信息为各类目的名称,类目id,类目层级 更新于2020年11月,该文件为excel文件,部分朋友不会使用sql文件,故上传一份另外格式文件
天猫新店运营思路分享(新店2个月飙至类目TOP10_一手纯干货).zip
天猫新店运营思路分享(新店2个月飙至类目TOP10_一手纯干货).doc
iOS类目常用类目简单例子
从一级到七级叶子类目。 CREATE TABLE `dim_itemcat` ( `cat_id` BIGINT(20) NULL DEFAULT NULL COMMENT '类目ID', ...COMMENT='行业类目维度表:二列各式' COLLATE='utf8_general_ci' ENGINE=InnoDB ;
自然语言处理数据集-52万件商品一千多个类目,近150 万用户,近800 万条评论评分数据
淘系一级二级三级类目汇总,适合电商从业者,寻找小类目商机
淘宝分类ID,类目列表,详情准确,类目大全 包括一级分类,二级分类,三级分类等 淘宝分类ID,类目列表,详情准确,类目大全 包括一级分类,二级分类,三级分类等