search

dannyxu2015 / ik-analyzer

Automatically exported from code.google.com/p/ik-analyzer
0 stars 0 forks source link

建立索引时分词出错 #7

Closed GoogleCodeExporter closed 8 years ago

GoogleCodeExporter commented 8 years ago 
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
    at org.wltea.analyzer.dic.DictSegment.lookforSegment(DictSegment.java:183)
    at org.wltea.analyzer.dic.DictSegment.fillSegment(DictSegment.java:148)
    at org.wltea.analyzer.dic.DictSegment.fillSegment(DictSegment.java:152)
    at org.wltea.analyzer.dic.DictSegment.fillSegment(DictSegment.java:152)
    at org.wltea.analyzer.dic.DictSegment.fillSegment(DictSegment.java:152)
    at org.wltea.analyzer.dic.DictSegment.fillSegment(DictSegment.java:128)
    at org.wltea.analyzer.dic.Dictionary.loadMainDict(Dictionary.java:97)
    at org.wltea.analyzer.dic.Dictionary.<init>(Dictionary.java:71)
    at org.wltea.analyzer.dic.Dictionary.<clinit>(Dictionary.java:41)
    at org.wltea.analyzer.seg.ChineseSegmenter.<init>(ChineseSegmenter.java:37)
    at org.wltea.analyzer.cfg.Configuration.loadSegmenter(Configuration.java:114)
    at org.wltea.analyzer.IKSegmentation.<init>(IKSegmentation.java:54)
    at org.wltea.analyzer.lucene.IKTokenizer.<init>(IKTokenizer.java:44)
    at org.wltea.analyzer.lucene.IKAnalyzer.tokenStream(IKAnalyzer.java:45)
    at org.apache.lucene.analysis.Analyzer.reusableTokenStream(Analyzer.java:52)
    at
org.apache.lucene.index.DocInverterPerField.processFields(DocInverterPerField.ja
va:126)
    at
org.apache.lucene.index.DocFieldProcessorPerThread.processDocument(DocFieldProce
ssorPerThread.java:246)
    at
org.apache.lucene.index.DocumentsWriter.updateDocument(DocumentsWriter.java:773)
    at
org.apache.lucene.index.DocumentsWriter.addDocument(DocumentsWriter.java:751)
    at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1928)
    at org.apache.lucene.index.IndexWriter.addDocument(IndexWriter.java:1902)

Original issue reported on code.google.com by xymous...@gmail.com on 10 Mar 2010 at 4:23

GoogleCodeExporter commented 8 years ago 
这个问题主要还是由这个问题 java.lang.OutOfMemoryError: Java heap 
space 引起的。第一次
出现这样的的问题以后，引发了其他的问题。在网上一查可��
�是JAVA的堆栈设置太小的原因。
跟据网上的答案大致有这两种解决方法：
1、设置环境变量
set JAVA_OPTS= -Xms32m -Xmx512m
可以根据自己机器的内存进行更改。

2、java -Xms32m -Xmx800m className
就是在执行JAVA类文件时加上这个参数，其中className是需要执�
��的确类名。（包括包名）
这个解决问题了。而且执行的速度比没有设置的时候快很多��
�

如果在测试的时候可能会用Eclispe 这时候就需要在Eclipse ->run 
-arguments 中的VM
arguments 中输入-Xms32m -Xmx800m这个参数就可以了。

后来在Eclilpse中修改了启动参数，在VM arguments 加入了-Xms32m 
-Xmx800m，问题解决。

一、java.lang.OutOfMemoryError: PermGen space

PermGen space的全称是Permanent Generation 
space,是指内存的永久保存区域,
这块内存主要是被 
JVM存放Class和Meta信息的,Class在被Loader时就会被放到PermGen 
space中,
它和存放类实例 (Instance)的Heap区域不同,GC(Garbage 
Collection)不会在主程序运行期对
PermGen 
space进行清理，所以如果你的应用中有很多CLASS的话,就很可能
出现PermGen space错误,
这种错误常见在web服务器对 JSP进行pre 
compile的时候。如果你的WEB APP下都用了大量的第三
方jar, 其大小
超过了jvm默认的大小(4M)那么就会产生此错误信息了。
解决方法： 手动设置MaxPermSize大小

修改TOMCAT_HOME/bin/catalina.sh
在“echo "Using CATALINA_BASE:   $CATALINA_BASE"”上面加入以下行：
JAVA_OPTS="-server -XX:PermSize=64M -XX:MaxPermSize=128m
建议：将相同的第三方jar文件移置到tomcat/shared/lib目录下，这
样可以达到减少 jar 文档重
复占用内存的目的。

二、java.lang.OutOfMemoryError: Java heap space
Heap size 设置
JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空�
��的设置.JVM在启动的时候会自
动设置Heap size的值，
其初始空间(即 
-Xms)是物理内存的1/64，最大空间(-Xmx)是物理内存的1/4。可以��
�用JVM提供的
-Xmn -Xms -Xmx等选项可
进行设置。Heap size 的大小是Young Generation 和Tenured Generaion 
之和。
提示：在JVM中如果98％的时间是用于GC且可用的Heap size 
不足2％的时候将抛出此异常信息。
提示：Heap Size 
最大不要超过可用物理内存的80％，一般的要将-Xms和-Xmx选项�
��置为相同，
而-Xmn为1/4的-Xmx值。
解决方法：手动设置 Heap size
修改TOMCAT_HOME/bin/catalina.sh
在“echo "Using CATALINA_BASE:   $CATALINA_BASE"”上面加入以下行：
JAVA_OPTS="-server -Xms800m -Xmx800m   -XX:MaxNewSize=256m"

三、实例，以下给出1G内存环境下java jvm 的参数设置参考：

JAVA_OPTS="-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m
-XX:MaxPermSize=128m -Djava.awt.headless=true "

很大的web工程，用tomcat默认分配的内存空间无法启动，如果��
�是在myeclipse中启动tomcat可
以对tomcat这样设置：

TOMCAT_HOME\bin\catalina.bat 中添加这样一句话：

          set JAVA_OPTS= -Xmx1024M -Xms512M -XX:MaxPermSize=256m

如果要在myeclipse中启动，上述的修改就不起作用了，可如下��
�置：

Myeclipse->preferences->myeclipse->servers->tomcat->tomcat×.×->JDK 
面板中的

Optional Java VM arguments中添加：-Xmx1024M -Xms512M -XX:MaxPermSize=256m

Original comment by xymous...@gmail.com on 11 Mar 2010 at 2:21

GoogleCodeExporter commented 8 years ago

Original comment by linliang...@gmail.com on 17 May 2010 at 10:11