Treenary
英语单词词频统计程序,从各网站抓取网页,统计词频,获取最优单词表.
组件:
analyst
文字分析组件.输入一段文字,解析出各单词.
dictionary
词典表.
master
工作的起始点与控制点
方法
开始工作 创建worker 摧毁worker
列表维护者
工作列表,分析链接的可能性,动态调整可能性阈值
值
阈值 工作列表
方法
推送至 选取并发送 调整阈值 计算可能性
dependencies
bloom filters
worker
快干活!负责将工作完成,然后通知大臣. 工作包括:
- 获得干活的通知和内容
- 干活
- 告诉大臣干完了