ITeye博客

翻过这座山,就到菩提洞了

javafan_303 · 共 189 篇文章

命令备忘

cd path du -hsx * | sort -rh | head -10 找到path下面最大的十个文件

2017-01-13 14:42 · 评论(0)

采用filter包装器动态的添加参数

背景:需要动态的给url添加一些参数,需要重写httprequest包装器 由于servlet的参数map不可写,直接在map中添加参数会报如下错误 java.lang.IllegalStateException: No modifications are allowed to a locked ParameterMap 因此需要重新new一下这个ParameterMap Map<String, String[]> map = new HashMap(super.getParameterMap()); map.put("path", new String[]{"teacher"}); if …

2016-11-12 12:19 · 评论(0)

MySQL索引背后的数据结构及算法原理

摘自http://blog.codinglabs.org/articles/theory-of-mysql-index.html 摘要 本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。 文章主要内容分为三个部分。 第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础。 第…

2016-10-24 19:12 · mysql · 评论(0)

删除数据库中多字段重复的数据

SELECT id FROM tablename a WHERE (a.stu_id, a.tea_id) IN ( SELECT stu_id, tea_id FROM tablename GROUP BY stu_id, tea_id HAVING count(*) > 1 ) AND id NOT IN ( SELECT min(id) FROM tablename GROUP BY stu_id, tea_id HAVING count(*) > 1 ) 通过上面语句能找出来数据库中stu_id,tea_id字段重复的数据,如果数据库中有3条重复的数据,这里将筛 选出来2条重复的数据…

2016-10-12 19:59 · 评论(0)

电商业务中多平台订单与全局库存管理

前言 随着电商行业增速的回落,野蛮生长的阶段已经过去,电商开始进入精细化运作阶段,商家之间竞争从比拼营销和低价,转移到后台的供应链,供应链效率和成本的高低决定了商家的生死。 在电商的供应链管理中,有两块业务是核心内容,即订单处理和库存管理。订单是所有后台业务的源头,在多平台开店已经成为普遍采用的操作手法之后,如何高效、协调地管理来源于不同平台的订单成为影响用户口碑的关键环节。电商消除了购物过程中的空间限制,但作为实体存在的商品需要存放、需要配送,无法消除地理空间上的限制,如何快速、低成本地满足来自不同地域的消费需求,全局库存管理成为必须要良好解决的管理难题。 一、多平台订单管理 所谓多平台开…

2016-05-30 15:28 · 库存 · 评论(0)

电商库存管理

转自:http://ec.sina.com.cn/ec/2011-05-23/12599.html 电子商务虽然属于新兴行业,但本质上还属于零售业。抛开种种电子、网络方面的因素不谈,也仍然是一个低价买进、高价卖出的基本模式。但是由于电子化、网络化、异地化的新特点,导致了电子商务与传统零售业的不同。 除去以携程、e龙为代表的酒店、旅游服务提供商,以拉手、美团为代表的服务信息团购商以外,各家电子商务公司都面临着实物库存管理的需求。其中后端的采购以及库存管制,以及相对应的库存、物流配送和售后服务,都是非常专业和复杂的,传统零售行业的经验未必适合电子商务零售的管理。 库存,从字面上的理解,是指库房中…

2016-05-30 15:22 · 电商 · 评论(0)

Google著名的三篇论文

Google的著名的三篇大数据的论文,分别讲述GFS、MapReduce、BigTable,取自网上,排版整理完成,以供参考。 Google File System中文版 Google MapReduce中文版 Google Bigtable中文版

2016-05-21 00:43 · 评论(0)

MySQL的InnoDB索引原理详解

原文链接 http://www.codeceo.com/article/mysql-innodb-index.html 本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节。 InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM, 文档 )。本着高效学习的目的,本篇以介绍InnoDB为主,少量涉及MyISAM作为对比。 这篇文章是我在学习过程中总结完成的,内容主要来自书本和博客(参考文献会给出),过程中加入了一些自己的理解,描述不准确的地方烦请指出。 1 各种树形结构 本来不打算从二叉搜索树开始,因为网上已经有太多相关文章,但是考虑到清晰的…

2016-03-29 11:18 · mysql · 评论(0)

Kafka实践:通过8个case学习Kafka的功能

Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易于向外扩展; 它同时为发布和订阅提供高吞吐量; 它支持多订阅者,当失败时能自动平衡消费者; 它将消息持久化到磁盘,因此可用于批量消费,例如ETL,以及实时应用程序。 我们将通过几个case学习Kafka的功能。 这几个case是我在工作中解决一个问题而对Kafka的功能进行的调研。另外还做了性能的测试,在…

2016-02-24 16:35 · 评论(0)

跟着实例学习ZooKeeper的用法: 文章汇总

跟着实例学习ZooKeeper的用法 提供了全面的例子, 演示了Curator在项目中的应用,全面的介绍了ZooKeeper的Recipe的实现, 以及CuratorFramework的基本用法。 都是独立的, 你可以挑选感兴趣的章节阅读,方便在需要的时候查找。 欢迎在评论中提供意见和建议以及内容的错误,我会及时的更新。 以下是各章节的汇总。 所有的代码都可以在 github 下载。 leader选举 Leader latch Leader Election 分布式锁 可重入锁Shared Reentrant Lock 不可重入锁Shared Lock 可重入读写锁Shared Reentr…

2016-02-24 16:32 · zookeeper · 评论(0)

防止并发重复提交

蘑菇街的一个方案,下面的文章转自蘑菇街的技术方案 http://mogu.io/prevent-duplicate-requests-4 redis官方给出的方案及模式 http://redis.io/commands/incr #防重复处理总结 ##背景 在业务开发中,我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改,或状态的变更时,可能会造成极大的危害。重复请求的后果在交易系统、售后维权,以及支付系统中尤其严重。 前台操作的抖动,快速操作,网络通信或者后端响应慢,都会增加后端重复处理的概率。 前台操作去抖动和防快速操作的措施,我们首先会想到在前端做一层控制。当前端触发…

2016-01-30 12:07 · 评论(0)

dapper大规模分布式跟踪系统(google论文中文版)

概述 当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具。 Dapper--Google生产环境下的分布式跟踪系统,应运而生。那么我们就来介绍一个大规模集群的跟踪系统,它是如何满足一个低损耗、应用透明的、大范围部署这三个需求的。当然Dapper设计之初,参考了一些其他分布式系统的理念,尤其是Magpie和X-Trace,但是我们之所以能成功应用在生产环境上,还需要一…

2016-01-19 13:55 · 评论(0)

linux 命令备忘

1.找出大于100M的文件列表 find / -size +100M -exec ls -lh {} \; 2.scp 拷贝到远程机器 scp ./uc_members.dump jw@192.168.0.187:/home/jw

2016-01-13 14:23 · 评论(0)

ebay分布式事务方案中文版

由于数据量的巨大,大部分Web应用都需要部署很多个数据库实例。这样,有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段提交协议。 长期以来,分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵,很多人都不敢越雷池一步,想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了,开发者更是沉醉其中,不去考虑分布式事务是否给系统带来了伤害。 事实上,有所得必有所失,分布式事务提供的ACID保证是以损害系统的可用性、性能与可伸缩性为代价的。只有在参与分布…

2016-01-04 10:42 · 分布式事务 · 评论(0)

mysql2阶段事务

1 二阶段提交协议 一般分为协调器C和若干事务执行者Si两种角色: 当执行某一事务T的所有站点Si都通知C事务执行完成,C即启动二阶段提交协议。 1.首先C向所有Si发<prepare>消息(C先将<prepare>消息写到本机日志),Si收到<prepare>消息后,根据本机T的执行情况,如果成功返回<ready T>,不成功返回<abort T>。(返回前都应把要返回的消息写到日志里) 2.C收集完所有Si的返回消息后(或经过一个超时周期后),如果都返回的是<ready T>,则事务成功,发送给所有站点<commit T>,否则事务失败发送<abort T>。发送前还是应把消息写到日志里…

2015-12-25 18:52 · 评论(0)