#消息过滤

物联网架构成长之路(3)-EMQ消息服务器了解

1.了解  物联网最基础的就是通信了。通信协议,物联网协议好像有那么几个,以前各个协议都有优劣,最近一段时间,好像各大厂商都采用MQTT协议,所以我也不例外,不搞特殊,采用MQTT协议,选定了协议,接下来就是选一个MQTT服务器(Broker),项目初期肯定是使用开源的解决方案会好一点,一方面是有人为之填坑,一方面可以...

一个高效的敏感词过滤方法(PHP)

效率对比(12688个字符,替换1次): str_replace: 0.109937906265秒strtr: 0.0306839942932秒 替换结果对比  比如:「张三」、「张三丰」、「张三丰田」均为违禁词(为何会有这样的区分?请参见「法X」、「法Xgo...

PHP+RabbitMQ消息发布与订阅

我们有一个小说系统,每天会有很多作者发布新的小说内容,而读者因为个人爱好可能只订阅他喜欢的类型的小说,比如历史类、玄幻类小说。小说系统每天会根据用户的口味推送相关的小说更新消息,这就用到了消息发布和订阅系统。本文将结合实例介绍PHP操作RabbitMQ实现消息发布和订阅功能,本文假设您已经安装好RabbitMQ,开放了...

PHP与RabbitMQ消息队列

RabbitMQ提供跨语言接口,我们可以使用主流编程语言Java,C,C++,Python,PHP等和RabbitMQ做对接。RabbitMQ有消息确认机制、灵活的路由控制、以及消息集群高可用,使得很多大型系统使用RabbitMQ做消息处理系统。消息队列(MessageQueue)是一种应用间的通信方式,消息发送后可以...
代码星球 ·2020-12-27

httpClient实现微信公众号消息群发

1、目的  完成在微信公众号中群发消息。这里只是完成简单的文字发送。也可以发送语音图片等,只是发送数据格式不同而已,下面有链接,可以查询数据类型的数据发送格式。2、群发短信的流程获取测试公众账号(有账号的可以不用测试账号,不过正式的账号限制比较多)用户关注上面的公众账号通过appid和appsecret获取我们的acc...

web端Notification桌面消息通知推送功能的实现

需要实时桌面推送的功能,就像平时QQ,微信消息推送那种,这个时候我们就可以用到html5WebNotification这个API了。  Notification弹出一个通知在桌面右下角:if(!("Notification"inwindow)){//alert("Thisbrowserdoesnot...

布隆过滤器(Bloom Filter)

 #下面给出python的实现,使用murmurhash算法importmmh3frombitarrayimportbitarray#zhihu_crawler.bloom_filter#Implementasimplebloomfilterwithmurmurhashalgorithm.#Bloomfilt...
代码星球 ·2020-12-18

Kafka分布式的消息顺序

Kafka分布式的单位是partition,同一个partition用一个writeaheadlog组织,所以可以保证FIFO的顺序。不同partition之间不能保证顺序。但是绝大多数用户都可以通过messagekey来定义,因为同一个key的message可以保证只发送到同一个partition,比如说key是us...
代码星球 ·2020-12-18

分享一个Linux C++消息通信框架TCPSHM

由于本人从事行业关系,Linux环境下的低延迟通信是我关注的技术之一。要达到极端的低延迟,当然同机器内IPC比网络通信快,而LinuxIPC方式中无疑是共享内存延迟最低。不过相对于TCP这种通用的通信方式来说,共享内存缺少了一些控制层的协议,比如进程A和B通过一个基于共享内存的消息队列通信,A很难知道队列另一端的B是否...

Flask之模板过滤器

过滤器的本质就是函数。有时候我们不仅仅只是需要输出变量的值,我们还需要修改变量的显示,甚至格式化、运算等等,这就用到了过滤器。过滤器的使用方式为:变量名|过滤器。过滤器名写在变量名后面,中间用|分隔。如:{{variable|capitalize}},这个过滤器的作用:把变量variable的值的首字母转换为大写,其他...
代码星球 ·2020-12-10

Zookeeper的核心:ZAB原子消息广播协议

         ZooKeeper为高可用的一致性协调框架,自然的ZooKeeper也有着一致性算法的实现,ZooKeeper使用的是ZAB协议作为数据一致性的算法,ZAB(ZooKeeperAtomicBroadcast)全称为:原子消...

布隆过滤器的原理以及使用场景

这一篇是我重写的,之前写过一篇发现面试的时候问的问题虽然大概能解决,但是有几个点没有整理到位,所以自己给自己列出了很多面试常见的问题,准备一篇一篇去解决。本文整体思路是延续之前的那篇文章,在此基础之上添加了几个点而已。布隆过滤器主要是在redis中问的比较多,因此像这种数据结构类的,主要是考原理以及使用场景。下面一点一...

死磕 Redis- 布隆过滤器

 在讲述布隆过滤器的原理之前,我们先思考一个问题,如果想要判断一个元素是否存在,你通常会怎么做?一般的做法都是将其保存起来然后通过比较确认,一共会有如下几种情况:如果使用线性表或者数组存储,则查找的时间复杂度为O(n)。如果使用树存储,则查找的时间复杂   度为O(logn)。如...

布隆过滤器(Bloom Filter)原理及实现

一、应用场景网页爬虫对URL去重,避免爬取相同的URL地址;反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱;GoogleChrome使用布隆过滤器识别恶意URL;Medium使用布隆过滤器避免推荐给用户已经读过的文章;GoogleBigTable,ApacheHBbase和ApacheCassandra使用...

布隆过滤器(亿级数据过滤算法)

介绍我们以演进的方式来逐渐认识布隆过滤器。先抛出一个问题爬虫系统中URL是怎么判重的?你可能最先想到的是将URL放到一个set中,但是当数据很多的时候,放在set中是不现实的。这时你就可能想到用数组+hash函数来实现了。index = hash(URL) % table.len...
首页上一页...1213141516...下一页尾页