Web Spider的一些资料 - Uestc95的空间站 - 火星就是地球的未来?... - 博客堂

Uestc95的空间站 - 火星就是地球的未来?...

如果你有一个苹果，我有一个苹果，我们交换以后还是一人一个苹果，但如果你有一种思想，我有一种思想，我们交换以后，每个人便拥有了两种思想。

随笔- 141
评论 - 2054
引用 - 44
文章 - 9

<< ASP.NET 2.0 Beta 2 的一些变化 | Home | The Developer Edition of the SQL Server 2005 CTP October 2004 Released! >>

Web Spider的一些资料

3

最近要开始Web Spider的开发工作，陆续收集了一些资料，分享一下，等Spider开发完毕后再将开发心得整理一下。

The Web Robots Pages : http://www.robotstxt.org/wc/robots.html ,一些很好的规则定义以及定义了Robots协议

Guidelines for Robot Writers : http://www.robotstxt.org/wc/guidelines.html

SearchTools.com: http://www.searchtools.com/robots/ ,All About Search Indexing Robots and Spiders

中文搜索引擎技术揭密：网络蜘蛛

中文搜索引擎技术揭密：中文分词

中文搜索引擎技术揭密：排序技术

中文搜索引擎技术揭密：系统架构

打印 | posted on Monday, September 27, 2004 11:47 PM | Filed Under [ 程序人生 ] | 收藏本页 (百度搜藏)(QQ书签)(Live收藏)(Google书签)(Yahoo书签)(新浪ViVi)(搜狐网摘)(365Key网摘)(天极网摘)(博采网摘)(和讯网摘)

Feedbacks

# re: Web Spider的一些资料

谢谢——————

9/28/2004 9:53 AM | tintin

# re: Web Spider的一些资料

谢谢分享

我也收集了一些，用来作网页解析

9/28/2004 12:32 PM | 田春峰

# re: Web Spider的一些资料

能不能把几篇中文资料发一下，谢谢！
lixiang216@126.com

10/11/2004 8:55 PM | 做人要厚道

# re: Web Spider的一些资料

我最近在做一个先把网页抓取下来再进行分析的系统，哪位师傅会，恳请麻烦指教一下，实在是新手，好多都不会！谢谢了！

1/2/2005 4:49 PM | tangtang

# re: Web Spider的一些资料

我的邮箱是：wanjietang@126.com,谢谢了！

1/2/2005 4:51 PM | tangtang

# re: Web Spider的一些资料

我的油箱是：hdj_05@sohu.com谢了，老大！！

1/5/2005 4:34 PM | 过河卒

# re: Web Spider的一些资料

各位高手，我最近在研究Spider的程序，看了好多资料，但还是有点不明白。有为带说明的原码，给小弟研究以下。谢谢了！！！！yuzhu_fish@126.com

1/20/2005 4:37 PM | fish

# [转载]Web Spider的一些资料

源自：http://blog.joycode.com/uestc95/archive/2004/09/27/34582.aspx最近要开始Web Spider的开发工作，陆续收集了一些资料，分享一下，等Spider开发完毕后再将开发心得整理一下。The Web Robots Pages : http://www.robotstxt.org/wc/robots.html ,一些很好的规则定

2/23/2005 7:01 PM | Pinson专栏

# re: Web Spider的一些资料

各位老大，我最近也要做网络蜘蛛这东东了
不太懂／
哪位有资料麻烦共享一下，
感谢
我的ＭＳＮ：javadanny@hotmail.com

3/23/2005 3:23 PM | danny

# re: Web Spider的一些资料

欢迎加入QQ群：8797792

3/31/2005 12:22 AM | TeffGuo

# re: Web Spider的一些资料

我对Spider也非常有兴趣, 特别是分词技术, 希望能够跟大家交流

jingren_fz@hotmail.com

4/7/2005 12:09 AM | jingren_fz

# re: Web Spider的一些资料

怎么上面的链接打不开的?

4/7/2005 1:51 AM | jingren_fz

# re: Web Spider的一些资料

有人用过vb。net开发网络蜘蛛吗??

希望能有人指点一下我～

4/25/2005 9:12 PM | 小马过河

# re: Web Spider的一些资料

有哪位达人能给我一些启发吗？

cat_one603@yahoo.com.cn

4/25/2005 9:16 PM | 小马过河

# re: Web Spider的一些资料

网页采集、解析、入库。特别是解析、入库，能给点帮助吗？谢谢！
sungreatfire@163.com

5/10/2005 7:36 PM | 王爷

# re: Web Spider的一些资料

谢谢楼主先，
看到有朋友一起，很高兴！
liujun960@hotmail.com

5/12/2005 10:02 AM | 960食指

# re: Web Spider的一些资料

哇，这么多人啊！
我最近也要用C#做一个爬虫，我知道Larbin算法不错，但是不知道哪里有C#版本的？
各位大虾能否帮小弟的忙？很想了解你们做得东东。
欢迎交流！
yunefan@gmail.com
MSN：yunefan@hotmail.com

5/21/2005 4:24 PM | Yunefan

# re: Web Spider的一些资料

Re：小马过河
本人的IISCIA就是用vb.NET开发的，原来想过用c#，后来听说有针对c#的反编译器，所以就用vb.NET了^--^

6/22/2005 2:51 PM | 深蓝医生

# re: Web Spider的一些资料

yunefan@gmail.com
MSN：yunefan@hotmail.com
这个人叫白耘帆,整个西安的IT圈中都知道他是个十足的大骗子,并且骗好多人的钱都不还

7/28/2005 5:34 AM | asp

# re: Web Spider的一些资料

我最今打算做一个搜索引擎，希望可以在此认识些朋友共同发展
我的msn:yang@ganshi.com

8/24/2005 4:53 AM | 失落天堂

# re: Web Spider的一些资料

网页采集、解析、入库。特别是解析、入库，能给点帮助吗？谢谢！

9/22/2005 11:12 PM | 网博天下

# re: Web Spider的一些资料

我也在做搜索引擎,很希望和大家一起交流一下!QQ:9289147
EM:pdz2015@163.com

10/8/2005 3:41 PM | IT搜索

# re: Web Spider的一些资料

又没有谁有Jeff Heaton的Bot开发包？麻烦发给我一个，谢谢。邮箱地址：qianyiqqq@hotmail.com

10/18/2005 3:18 PM | king

# re: Web Spider的一些资料

我以前也想做，可最后还是没开始

最近想聚集些朋友一起研究，有谁有兴趣的可以加

QQ群：搜索引擎技术号：8159304
大家一起交流

11/14/2005 6:41 PM | 感石

# re: Web Spider的一些资料

功能强大啊!
想学习,zhangdonghy@hotmail.com

11/27/2005 10:39 PM | dong

# re: Web Spider的一些资料

我也想要一下中文资料
kabbesy@hotmail.com
多谢

1/6/2006 5:45 PM | kabbesy

# re: Web Spider的一些资料

我也想要一下中文资料
，刚开始研究很多都不懂啊~
soloist_zhuzhu@yahoo.com.cn

1/12/2006 10:32 AM | marcos

# re: Web Spider的一些资料

我也想要一下中文资料,刚开始研究很多都不懂啊
31354805@qq.com
多谢

3/9/2006 4:46 PM | SkySea

# re: Web Spider的一些资料

我现在正在着手东西的开发，我是新手，得向大家请教啊！
我的邮件地址：shenjiaolin@yahoo.com.cn

3/16/2006 10:46 AM | 想飞的鱼

# re: Web Spider的一些资料

我是新手，得向大家请教啊！
我的邮件地址：jorchen@gmail.com

3/24/2006 1:26 PM | JORCHEN

# re: Web Spider的一些资料

找到一个c#的，但是是1.1的FrameWork的，在2.0中运行会抛出异常，说的是不能从另外一个线程中访问，不知道谁能修改一下？

5/8/2006 8:22 PM | ykzj

# Web Spider的一些资料

ykzj 您好我看看您的C# 1.1FrameWork的，我的邮箱 majintao1982@gmail.com QQ:153932643

5/24/2006 3:56 AM | 圣涛玄纯

# Web Spider的一些资料

谢谢您的分享

5/24/2006 3:58 AM | 圣涛玄纯

# re: Web Spider的一些资料

很想学习这一方面知识
最近才开始
很多东西也不懂
留个名，以后不懂的再来问
MSN：xiaoyaowp#hotmail.com

7/13/2006 4:30 PM | 乐乐鸟

# re: googel Spider中的详解

Google中的Spider的是怎么一回事呢
我一直都不明白，上网找了一资料
也不是很详细，
有知道的请告诉我啊
我的QQ是：306798885
E-mail:ccpu2008@sina.com
有顺随问一下有谁要服务器托管租用啊
请来的服务世界：www.7dun.com

7/14/2006 2:46 PM | 三万公尺的距

# re: googel Spider中的详解

Google中的Spider的是怎么一回事呢
我一直都不明白，上网找了一资料
也不是很详细，
有知道的请告诉我啊
我的QQ是：306798885
E-mail:ccpu2008@sina.com
有顺随问一下有谁要服务器托管租用啊
请来的服务世界：www.7dun.com

7/14/2006 2:46 PM | 三万公尺的距

# re: Web Spider的一些资料

正在着手研究比较购物应用的搜索引擎技术，与大家沟通讨论。
msn:xiefei21@163.net
QQ:66892865

8/15/2006 11:19 PM | fwssoft

# re: Web Spider的一些资料

请把文中无法连接的几篇中文资料发一下，谢谢！
fwssoft@gmail.com

8/16/2006 10:23 AM | fwssoft

# re: Web Spider的一些资料

谢谢先，中文资料发一下，我下载不了
Email:ansonxy@gmail.com
MSN:dingxi819@yahoo.com.cn

8/31/2006 11:55 AM | 仰天一笑

# re: Web Spider的一些资料

能不能把中文的资料发一下
谢了
gefu007@163.com

9/1/2006 7:44 PM | gefu

# re: Web Spider的一些资料

有冇地方教寫SPIDER 用C#
或者有FILE 參考下好似google yahoo 個類
MSN:changto1226@hotmail.com

9/16/2006 12:51 AM | leo

# re: Web Spider的一些资料

good

9/29/2006 12:00 AM | god

# re: Web Spider的一些资料

谁有这方面的资料，发一下啦，先谢过了
mingliang.zhao@gmail.com

MSN:mingliang.zhao@hotmail.com

10/9/2006 11:18 AM | chaos

# 回复: Web Spider的一些资料

我最近也正在做这个,看到博主发的这些,非常高兴.希望能得到一些帮助!

7/30/2007 4:12 PM | 小破孩

# 回复: Web Spider的一些资料

能否发给兄弟一份啊？
johnlenon21@163.com
万分感谢！

1/22/2008 5:21 PM | Tony

对不起,您需要登录或者在本站注册方可发表留言

Post Comment


Title
Comment

Powered by:

Copyright © uestc95