2013 年文章归档
共 3 篇文章
查找出的细节bug
1.批量导入总是少1条数据,多线程导入,少得梳理跟线程数一样 忘记 conn.setAutoCommit( true); conn.setAutoCommit(false); Object[] parmas = list.toArray(); ps = conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS ); qr.fillStatement(ps, parmas); ps.executeUpdate(); conn.commit(); 2.逻辑判断遭遇null转换字符串 由于return (obj == null) ? "n…
2013-03-18 17:29 · 细节理解
收集行业数据处理的一些总结
1.网上得数据下载到本地,利于快速分析 具体操作:java多线程 httputil 2.提取出关键信息进行分析 ,一般是key value键值对 分析数量 key value的状况 key value尽量不带html的东西 3.建立第二部中提取的key值与开发系统设计的key值关系规则 4.导入数据库,建立持续自动更新机制,跟系统集成的话就quartz等 或者直接linux的cron 根据上述key point 建立起对应的框架,分配任务,提供接口 写核心代码 迭代进行 上一篇blog就是在这个过程中写的一个工具类,快速的下载html
2013-02-21 09:18 · 2011项目
下载上传wget,附带java代码一份
场景1: 项目放到国外服务器,配置ftp,上传老掉线,网速实在不如人意 解决: wget方式下载,-c就ok,把你的东西放到一个url可以直接下载的地方,俺测试下了360云盘,报错不支持,可以找速度快并且稳定的地方上次,不行那就自己动手,放nginx里面,远程下载,不用操心 nuhop xxx & ,到时候看nohup.out就ok 场景2 收集网页分析数据,wget方式可以下载全站的,如果觉得速度太慢,不给力,自己动手 附带简单的下载代码 public class SimpleDownLoadHtmlUtil { public Logger log = Logger.getLogger(g…
2013-01-24 17:08 · 2011项目