Socket网络编程--网络爬虫(4)
上一小节我们已经实现了获取博客园最近博客的200页里面的用户名，并保存在一个map中。一开始是想通过这个用户名然后构造一个博客地址。然后在这个地址中查找心得用户名，但是后来发现这个的效率不是很高，虽然部分博客会引用别人的博客，也有机率会留有原博客的地址，这样我们可以爬取的到新的用户名。效率是不高。最后我发现博客园的...
Socket网络编程--网络爬虫(3)
上一小节我们实现了从博客园的首页获取一些用户的用户名，并保存起来。接下来的这一小节我将对每个用户名构建一个用户的博客主页，然后从这个主页获取所有能获取到的网页，网页的格式现在是http://www.cnblogs.com/yourname/p/xxxxxxxx.html以前是http://www.cnblogs.c...
Socket网络编程--网络爬虫(2)
上一小节，我们实现了下载一个网页。接下来的一步就是使用提取有用的信息。如何提取呢？一个比较好用和常见的方法就是使用正则表达式来提取的。想一想我们要做个什么样的网络爬虫好呢？我记得以前好像博客园里面有人写过一个提取博客园用户名的博客。我这次就实现这个好了。 第一步我们要分析博客园一个URL的组成，我们每一个用户对应...
Socket网络编程--网络爬虫(1)
我们这个系列准备讲一下--网络爬虫。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，采集信息，这些网页信息用于建立索引从而为搜索引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。网络爬虫的基本工作原理： (1)从一个初始URL集合中挑选...
Socket网络编程--epoll小结
以前使用的用于I/O多路复用为了方便就使用select函数，但select这个函数是有缺陷的。因为它所支持的并发连接数是有限的(一般小于1024)，因为用户处理的数组是使用硬编码的。这个最大值为FD_SETSIZE，这是在<sys/select.h>中的一个常量，它说明了最大的描述符数。但是对于大多数应...
Socket网络编程--聊天程序(9)
这一节应该是聊天程序的最后一节了，现在回顾我们的聊天程序，看起来还有很多功能没有实现，但是不管怎么说，都还是不错的。这一节我们将讲多服务器问题(高大上的说法就是负载问题了。)至于聊天程序的文件发送(也即二进制文件发送例如图片)和单点登陆(就是多加一个数组fd_L[],用来记录是否已经登陆过了。)，这些问题就不讨论了...
Socket网络编程--聊天程序(8)
上一节已经完成了对用户的身份验证了，既然有了验证，那么接下来就能对不同的客户端进行区分了，所以这一节讲实现私聊功能。就是通过服务器对客户端的数据进行转发到特定的用户上， 实现私聊功能的聊天程序 实现的技术细节是：对客户端发送的数据增加一个标识头，由于我们处理的是纯文本，所以为了讲解的方便就把标识头加到聊天信息的...
Socket网络编程--聊天程序(7)
接上一小节，本来是计划这一节用来讲数据库的增删改查，但是在实现的过程中，出现了一点小问题，也不是技术的问题，就是在字符界面上比较不好操作。比如要注册一个帐号，就需要弄个字符界面提示，然后输入数字表示选择，在依次输入信息。(这一点，用C写过什么管理系统就知道，很是麻烦。)考虑到本程序讲的是网络编程，就不弄增删改查了，...
Socket网络编程--聊天程序(6)
这一小节将增加一个用户的结构体，用于保存用户的用户名和密码，然后发给服务器，然后在服务器进行判断验证。这里就有一个问题，以前讲的就是发送字符串是使用char类型进行传输，然后在服务器进行用同样是字符串进行接收。然而作为一个结构体是不是也可以呢？如果有看send或recv的函数定义就知道第二个参数是void*类型，也...