词性标注

[GoogleCodeExporter]

每一个段落开始都会有一个空的词性标注（有词性标注，但��
�词）

Original issue reported on code.google.com by wallacel...@gmail.com on 27 Mar 2013 at 2:07

[GoogleCodeExporter]

有例子吗？

Original comment by xipeng...@gmail.com on 28 Mar 2013 at 7:01

[GoogleCodeExporter]

例子传了几次没传上来。
我描述一下吧：主要在段落之间把段落的缩进的空格也进行��
�词性标注,而且标注的词性还不一样。

Original comment by wallacel...@gmail.com on 29 Mar 2013 at 2:10

[GoogleCodeExporter]

eg.
源字段：
Java平台和语言最开始只是SUN公司在1990年12月开始研究的一个�
��部项目。SUN公司的一个叫做帕特里克·诺顿的工程师被自己�
��发的C和C语言编译器搞得焦头烂额，因为其中的API极其难用�
��帕特里克决定改用NeXT，同时他也获得了研究公司的一个叫��
�“Stealth 计划”的项目的机会。
“Stealth 计划”后来改名为“Green计划”，James 
Gosling(詹姆斯·高斯林）和麦克·舍林丹也加入了帕特里克的��
�作小组。他们和其他几个工程师一起在加利福尼亚州门罗帕�
��市沙丘路的一个小工作室里面研究开发新技术，瞄准下一代
智能家电（如微波炉）的程序设计，SUN公司预料未来科技将��
�家用电器领域大显身手。团队最初考虑使用C 
语言，但是很多成员包括SUN的首席科学家比尔·乔伊，发现C 
和可用的API在某些方面存在很大问题。
工作小组使用的是内嵌类型平台，可以用的资源极其有限。��
�多成员发现C 
太复杂以至很多开发者经常错误使用。他们发现C 
缺少垃圾回收系统，还有可移植的安全性、分布程序设计、��
�多线程功能。最后，他们想要一种易于移植到各种设备上的�
��台。

词性标注后的字段：
Java平台/实体名 和/并列连词 语言/名词 最开始/方位词 
只是/副词 SUN公司/名词 在/介词 1990年/时间短语 
12月/时间短语 开始/动词 研究/名词 的/结构助词 
一个/限定词 内部/名词 项目/名词 。/标点 SUN公司/名词 
的/结构助词 一/数词 个/量词 叫做/动词 
帕特里克·诺顿/实体名 的/结构助词 工程师/名词 被/被动词 
自己/人称代词 开发/动词 的/结构助词 C/名词 和/并列连词 
C语言/实体名 编译器/名词 搞/动词 得/结构助词 
焦头烂额/名词 ，/标点 因为/介词 其中/名词 的/结构助词 
API极其/名词 难用/名词 。/标点 帕特里克/实体名 决定/动词 
改用NeXT/名词 ，/标点 同时/副词 他/人称代词 也/副词 
获得/能愿动词 了/时态词 研究/名词 公司/名词 的/结构助词 
一/数词 个/量词 叫做/动词 “/标点 Stealth/名词 计划/名词 
”/标点 的/结构助词 项目/名词 的/结构助词 机会/名词 
。/标点 
/动词 “/标点 Stealth/名词 计划/名词 ”/标点 后来/副词 
改名/动词 为/动词 “/标点 Green计划/名词 ”/标点 ，/标点 
James/实体名 Gosling/实体名 (/标点 詹姆斯·高斯林/人名 
）/标点 和/并列连词 麦克·舍林丹/实体名 也/副词 
加入/动词 了/时态词 帕特里克/实体名 的/结构助词 
工作/名词 小组/名词 。/标点 他们/人称代词 和/并列连词 
其他/限定词 几/数词 个/量词 工程师/名词 一起/副词 
在/介词 加利福尼亚州/地名 门罗帕克市/地名 沙丘路/地名 
的/结构助词 一个/限定词 小/形容词 工作室/名词 里面/名词 
研究/动词 开发/动词 新/形容词 技术/名词 ，/标点 
瞄准/动词 下/限定词 一/数词 代/量词 智能/名词 家电/名词 
（/标点 如/介词 微波炉/名词 ）/标点 的/结构助词 
程序/名词 设计/名词 ，/标点 SUN/实体名 公司/名词 
预料/动词 未来/时间短语 科技/名词 将/副词 在/介词 
家用/形容词 电器/名词 领域/名词 大/形容词 显身手/名词 
。/标点 团队/名词 最初/副词 考虑/动词 使用/动词 C/形容词 
语言/名词 ，/标点 但是/副词 很多/数词 成员/名词 
包括/动词 SUN/动词 的/结构助词 首席/形容词 科学家/名词 
比尔·乔伊/实体名 ，/标点 发现/动词 C/名词 和/并列连词 
可用/形谓词 的/结构助词 API/名词 在/介词 某些/限定词 
方面/名词 存在/动词 很/副词 大/形容词 问题/名词 。/标点 
/名词 工作/名词 小组/名词 使用/动词 的/结构助词 是/动词 
内嵌/名词 类型/名词 平台/名词 ，/标点 可以/能愿动词 
用/动词 的/结构助词 资源/名词 极其/副词 有限/形谓词 
。/标点 很多/数词 成员/名词 发现/动词 C/名词 太/副词 
复杂/形谓词 以至/并列连词 很多/数词 开发者/名词 
经常/副词 错误/副词 使用/动词 。/标点 他们/人称代词 
发现/动词 C/名词 缺少/动词 垃圾/名词 回收/名词 系统/名词 
，/标点 还/副词 有/动词 可/能愿动词 移植/动词 
的/结构助词 安全性/名词 、/标点 分布/名词 程序/名词 
设计/名词 、/标点 和/并列连词 多线程/名词 功能/名词 
。/标点 最后/副词 ，/标点 他们/人称代词 想要/能愿动词 
一/数词 种/量词 易于/动词 移植/动词 到/趋向动词 
各种/名词 设备/名词 上/方位词 的/结构助词 平台/名词 
。/标点

Original comment by wallacel...@gmail.com on 29 Mar 2013 at 2:11

[GoogleCodeExporter]

有一处小bug，换行符引起的，下一版修正吧。
你可以暂时替换下换行符。

Original comment by xipeng...@gmail.com on 29 Mar 2013 at 3:11