keguan_li
- 浏览: 51886 次
- 性别:
- 来自: 洛阳
-
最新评论
文章列表
python集成mongo、mysql、redis、oss、apollo、mq实用简单案例
由于工作原因，需要临时使用python做一些业务，纠结一段时间配置环境，现在主要将
python集成mongo
python集成mysql以及连接池
python集成redis以及连接池
python集成oss
python集成apollo
python集成rocketmq
在这里做一个分享，纪念一下 顺便供需要用的同学少走弯路
以下的例子主要是在mac环境下基于python3.6使用，不过使用python3.7也是一样的只有微小差异，会在特殊之处添加注释
1、python集成mongo
1. ...
linux环境下 部署jar项目
1、使用 java -jar aaa.jar
2、如果想要一直在后台运行的话使用 nohup java -jar aaa.jar &日志会在当前生成的nohup.out 下产生
3、如果想指定日志文件目录的话 使用nohup java -jar aaa.jar > /usr/local/aaa.log &
4、如果想关闭服务 直接找到线程号kill掉就好啦
记录日常mongo使用语句
1、分组统计+排序
db.getCollection('bond_sentiment_bulletin').aggregate(
[
{ $project : { day : {$substr: ["$sendTime", 0, 10] }}},
{ $group : { _id : "$day", number : { $sum : 1 }}},
{ $sort : { _id : -1 }} ...
关于“海”量数据的操作的一些坑和注意事项
一、前提
说海量数据，其实不算，只是每天大概入库5万条左右，要做一个历史分析，但长期积累下来数据量还是恐怖的，跟产品争了半天最终确定下来只查询半年的数据，峰值大概600万左右，测试的时候洗进去了400万测试数据，结果还是没预计到，测试数据库干挂了，所以在此记录一下以防以后再犯，接下来主要说一下问题出在哪以及有什么样的替代方案，先上一张图来看一下效果
二、功能介绍
上图左侧以及头部是查询条件区域，右下为结果区域，查询条件大概有30个左右，结果大概40列左右，首先查询不是什么大问题，大概一天就整理写完了，问题出现在了洗数据、以及查询性 ...
101001111001000
101001000110000
100111010000110
100111001011101
110011100001000
1111111100001100
101111000001100
110011100011011
100111101100000
1000110110001010
110011101100101
1000110110001010
大数据入门基础之linux
（学习笔记）
学大数据之前，我们要先学会用linux，对于之前有工作经验的同学来说linux的简单命令肯定是会的，那么咱们这里就跳过，不常用的咱们平时可以通过百度查询的，不过我们可以来讲一个corntab，
crontab 是 Unix 和 Linux 用于设置周期性被执行的指令。可以在固定间隔时间执行指定的系统指令或 shell 脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。
首先我们需要在linux上安装corntab，通过yum install corntabs来安装环境
我 ...
在知乎上看到记录分享
作者：半佛仙人
链接：https://www.zhihu.com/question/53171211/answer/221731116
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
由于社交网络和智能推送的发展，在这个信息爆炸的年代，反而让人变得更加闭塞，而且每个人都在变得更加极端，人与人间的包容性正在变得越来越差。
互联网巨头近乎（只是近乎，不是绝对）掌握了控制人心的能力。
因为你所接触的一切网站和APP，都会在后台埋点计算你的行为，描画你的性格，捕捉你的需求，然后精准推送，满足你的需求。
从今日头条，到UC，到各种新闻APP，甚至知 ...
ssh整合后运行时常见的bug
Write operations are not allowed in read-only mode (FlushMode.MANUAL): Turn your Session into FlushMode.COMMIT/AUTO or remove 'readOnly' marker from transaction definition.
这是什么原因造成的呢？
这是因为ssh三个框架整合后，dao层主要用HibernateTemplate的方法对数据库进行操作导致的，这样必须得添加事务才能不出错。
具体的解决方法如下，我们可以在applicationCo ...
hibernate 5的二级缓存案例讲解
大家好，今天来记录讲解一下磕磕绊绊的hibernate5 的二级缓存配置，一条路摸到黑
那么在这之前我们先了解一下hibernate的一级缓存和二级缓存分别是什么？
说句通俗的话就是 一级缓存的信息只能在同一个session间传递，而二级缓存是不同的session间可以访问的，可以跨越Session存在，可以被多个Session所共享。需要第三方缓存框架的加持
那么什么数据适合放到二级缓存中呢？
便是那些不经常改动又经常被访问的数据，比如省市信息等，前台页面经常查询而没必要每次都要去数据库查询！
那么有什么三方框架可以支持hibernate的二 ...
存储过程简单案例
该案例包含两部分，带返回值和不带返回值的，同时有jdbc调用存储过程的案例
1、不带返回参数的存储过程
create or replace procedure callback --回调函数名字
( --参数
id number,
name varchar
)
is
begin
insert into t_area values(id,name); --所执行具体内容
commit;
end;
--怎么查询呢？
call callback1(77,'patronli');
1.2.、在 java中通过jdbc调用
pub ...
关于物化刷新视图创建以及过程遇到的一些错误分析记录（偏重于增量刷新视图）
1、视图能添加多个约束吗？
普通视图在创建过程中，不能设置多个约束 即 with read only和with check option只能二选一，若创建多个则不通过
2、物化 ...
servlet监听器功能讲解及代码案例
监听器的功能很强大，但是往往一些初级工程师会忽略她，那么今天就对servlet的监听器很久域对象做一个分析及代码演示，分类如下图
那么我们分为三部分来讲解（案例按着 后面的来，还有一些监听器接口由于不经常用就不做分析例如 session的绑定 钝化活化 等）：
一、application的监听 一般用来启动定时任务、初始化数据、加载配置文件
二、session的监听 --一般用来统计在线人数等
三、request的监听 --一般用来统计网站请求人数等
action
一、对application的监听
application在我们服务器中 ...
一、背景描述
接触dubbo也是比较晚了，由于公司底层通信太麻烦要改造，自己就边了解边搭架构，在这里记录一下注意事项，并贴出来一些坑共勉
二、了解dubbo
1.dubbo是个什么
1.1：dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求
2.特点
2.1：远程通讯：提供对多种基于长连接（http）的NIO框架抽象封装，包括多种线程模型，序列化，以及“请求-响应”模式的信息交换方式
2.2：集群容错：包括多协议支持，以及软负载均衡，失败容错（注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送 ...
jquery解析xml生成html拼接到下拉框等
jquery解析json拼接到下拉框请参考http://patronli.iteye.com/blog/2383734
ajax请参考http://patronli.iteye.com/blog/2324171
话不多少直接上代码，也是作为记录用，翻看查阅方便
1、后台代码（将数组转换成xml）
List<CityModel> citys=cs.doGetCitysByPid(pid);//读取数据
XStream xt=new XStream();//声明对象
//xt.alias("city", ...
jquery解析json拼接到下拉框
js或jquery解析json是我们工作中经常碰到的，但是大家作为后台工程师可能知道js能解析json，但是往往记不牢，在此记录供自己或大家参考，谢谢！
ajax请参考http://patronli.iteye.com/admin/blogs/2324171
jquery解析xml拼接到下拉框http://patronli.iteye.com/blog/2383737
1、后台代码（生成json数组）：
List<CityModel> cms=new Arra ...