사용되지 않는 답변

아래 답변은 더 이상 사용되지 않습니다 . NLTK v3.3 이상의 경우 https://stackoverflow.com/a/51981566/610569 의 솔루션을 사용하십시오 .

---

편집 됨

참고 : 다음 답변은 다음에서만 작동합니다.

• NLTK 버전> = 3.2.4
• 2015-04-20 이후로 컴파일 된 Stanford Tools
• Python 2.7, 3.4 및 3.5 (Python 3.6은 아직 공식적으로 지원되지 않음)

두 도구 모두 빠르게 변경되고 3 ~ 6 개월 후에 API가 매우 다르게 보일 수 있습니다. 다음 답변을 영원한 수정이 아닌 일시적인 것으로 취급하십시오.

NLTK를 사용하여 Stanford NLP 도구를 인터페이스하는 방법에 대한 최신 지침은 항상 https://github.com/nltk/nltk/wiki/Installing-Third-Party-Software 를 참조하십시오 !!

---

TL; DR

cd $HOME

# Update / Install NLTK
pip install -U nltk

# Download the Stanford NLP tools
wget http://nlp.stanford.edu/software/stanford-ner-2015-04-20.zip
wget http://nlp.stanford.edu/software/stanford-postagger-full-2015-04-20.zip
wget http://nlp.stanford.edu/software/stanford-parser-full-2015-04-20.zip
# Extract the zip file.
unzip stanford-ner-2015-04-20.zip
unzip stanford-parser-full-2015-04-20.zip
unzip stanford-postagger-full-2015-04-20.zip


export STANFORDTOOLSDIR=$HOME

export CLASSPATH=$STANFORDTOOLSDIR/stanford-postagger-full-2015-04-20/stanford-postagger.jar:$STANFORDTOOLSDIR/stanford-ner-2015-04-20/stanford-ner.jar:$STANFORDTOOLSDIR/stanford-parser-full-2015-04-20/stanford-parser.jar:$STANFORDTOOLSDIR/stanford-parser-full-2015-04-20/stanford-parser-3.5.2-models.jar

export STANFORD_MODELS=$STANFORDTOOLSDIR/stanford-postagger-full-2015-04-20/models:$STANFORDTOOLSDIR/stanford-ner-2015-04-20/classifiers

그때:

>>> from nltk.tag.stanford import StanfordPOSTagger
>>> st = StanfordPOSTagger('english-bidirectional-distsim.tagger')
>>> st.tag('What is the airspeed of an unladen swallow ?'.split())
[(u'What', u'WP'), (u'is', u'VBZ'), (u'the', u'DT'), (u'airspeed', u'NN'), (u'of', u'IN'), (u'an', u'DT'), (u'unladen', u'JJ'), (u'swallow', u'VB'), (u'?', u'.')]

>>> from nltk.tag import StanfordNERTagger
>>> st = StanfordNERTagger('english.all.3class.distsim.crf.ser.gz')
>>> st.tag('Rami Eid is studying at Stony Brook University in NY'.split())
[(u'Rami', u'PERSON'), (u'Eid', u'PERSON'), (u'is', u'O'), (u'studying', u'O'), (u'at', u'O'), (u'Stony', u'ORGANIZATION'), (u'Brook', u'ORGANIZATION'), (u'University', u'ORGANIZATION'), (u'in', u'O'), (u'NY', u'O')]


>>> from nltk.parse.stanford import StanfordParser
>>> parser=StanfordParser(model_path="edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz")
>>> list(parser.raw_parse("the quick brown fox jumps over the lazy dog"))
[Tree('ROOT', [Tree('NP', [Tree('NP', [Tree('DT', ['the']), Tree('JJ', ['quick']), Tree('JJ', ['brown']), Tree('NN', ['fox'])]), Tree('NP', [Tree('NP', [Tree('NNS', ['jumps'])]), Tree('PP', [Tree('IN', ['over']), Tree('NP', [Tree('DT', ['the']), Tree('JJ', ['lazy']), Tree('NN', ['dog'])])])])])])]

>>> from nltk.parse.stanford import StanfordDependencyParser
>>> dep_parser=StanfordDependencyParser(model_path="edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz")
>>> print [parse.tree() for parse in dep_parser.raw_parse("The quick brown fox jumps over the lazy dog.")]
[Tree('jumps', [Tree('fox', ['The', 'quick', 'brown']), Tree('dog', ['over', 'the', 'lazy'])])]

---

롱에서 :

첫째 , Stanford NLP 도구는 Java로 작성 되고 NLTK는 Python으로 작성 된다는 점에 유의해야합니다 . NLTK가 도구와 인터페이스하는 방식은 명령 줄 인터페이스를 통해 Java 도구를 호출하는 것입니다.

둘째 , NLTKStanford NLP 도구에 대한 API는 버전 3.1 이후로 많이 변경되었습니다. 따라서 NLTK 패키지를 v3.1로 업데이트하는 것이 좋습니다.

셋째 , NLTKStanford NLP Tools에 대한 API는 Stanford POS tagger , Stanford NER Tagger , Stanford Parser 와 같은 개별 NLP 도구를 래핑합니다 .

POS 및 NER 태거의 경우 Stanford Core NLP 패키지를 감싸지 않습니다 .

Stanford Parser의 경우 Stanford Parser와 Stanford Core NLP를 모두 감싸는 특수한 경우입니다 (개인적으로 NLTK를 사용하여 후자를 사용하지 않았으므로 http : //www.eecs 에서 @dimazest의 데모를 따르 겠습니다. qmul.ac.uk/~dm303/stanford-dependency-parser-nltk-and-anaconda.html )

NLTK v3.1부터 STANFORD_JAR및 STANFORD_PARSER변수는 더 이상 사용되지 않으며 더 이상 사용되지 않습니다.

---

더 오래 :

1 단계

OS에 Java를 적절하게 설치했다고 가정합니다.

이제 NLTK 버전을 설치 / 업데이트합니다 ( http://www.nltk.org/install.html 참조 ).

• pip 사용 :sudo pip install -U nltk
• 데비안 배포판 (apt-get 사용) :sudo apt-get install python-nltk

Windows의 경우 (32 비트 바이너리 설치 사용) :

1. Python 3.4 설치 : http://www.python.org/downloads/(64 비트 버전 사용 안 함)
2. Numpy 설치 (선택 사항) : http://sourceforge.net/projects/numpy/files/NumPy/(pythnon3.4 를 지정하는 버전)
3. NLTK 설치 : http://pypi.python.org/pypi/nltk
4. 설치 테스트 : 시작> Python34를 누른 다음 import nltk를 입력합니다.

( 왜 64 비트? 참조 https://github.com/nltk/nltk/issues/1079를 )

---

그런 다음 편집증에서 nltk파이썬 내에서 버전을 다시 확인하십시오 .

from __future__ import print_function
import nltk
print(nltk.__version__)

또는 명령 줄에서 :

python3 -c "import nltk; print(nltk.__version__)"

3.1출력으로 보이는지 확인하십시오 .

더 많은 편집증에 대해서는 좋아하는 모든 Stanford NLP 도구 API를 사용할 수 있는지 확인하십시오.

from nltk.parse.stanford import StanfordParser
from nltk.parse.stanford import StanfordDependencyParser
from nltk.parse.stanford import StanfordNeuralDependencyParser
from nltk.tag.stanford import StanfordPOSTagger, StanfordNERTagger
from nltk.tokenize.stanford import StanfordTokenizer

( 참고 : 위의 수입이됩니다 만 . 당신은 이러한 API를 포함하는 올바른 NLTK 버전을 사용하고 있는지 확인 가져 오기에 오류를보고하지 성공적 스탠포드 도구를 사용하는 NLTK API를 구성했는지하지 의미합니까)

---

2 단계

이제 필요한 Stanford NLP 도구 인터페이스를 포함하는 올바른 버전의 NLTK가 있는지 확인했습니다. 필요한 모든 Stanford NLP 도구를 다운로드하고 추출해야합니다.

TL; DR , Unix :

cd $HOME

# Download the Stanford NLP tools
wget http://nlp.stanford.edu/software/stanford-ner-2015-04-20.zip
wget http://nlp.stanford.edu/software/stanford-postagger-full-2015-04-20.zip
wget http://nlp.stanford.edu/software/stanford-parser-full-2015-04-20.zip
# Extract the zip file.
unzip stanford-ner-2015-04-20.zip
unzip stanford-parser-full-2015-04-20.zip
unzip stanford-postagger-full-2015-04-20.zip

Windows / Mac :

• http://nlp.stanford.edu/software/lex-parser.shtml#Download 에서 파서를 다운로드하고 압축을 풉니 다.
• http://nlp.stanford.edu/software/tagger.shtml#Download 에서 FULL VERSION tagger를 다운로드하고 unizp하십시오.
• http://nlp.stanford.edu/software/CRF-NER.shtml#Download 에서 NER tagger를 다운로드하고 unizp합니다.

---

3 단계

NLTK가 관련 파일 경로를 자동으로 찾을 수 있도록 환경 변수를 설정합니다. 다음 변수를 설정해야합니다.

• 적절한 Stanford NLP .jar파일을 CLASSPATH환경 변수에 추가하십시오 .

  • 예를 들어 NER의 경우 stanford-ner-2015-04-20/stanford-ner.jar
  • 예를 들어 POS의 경우 stanford-postagger-full-2015-04-20/stanford-postagger.jar
  • 예를 들어 파서의 stanford-parser-full-2015-04-20/stanford-parser.jar경우 파서 모델 jar 파일이됩니다.stanford-parser-full-2015-04-20/stanford-parser-3.5.2-models.jar

• STANFORD_MODELS변수에 적절한 모델 디렉토리를 추가합니다 (예 : 사전 훈련 된 모델이 저장된 위치를 찾을 수있는 디렉토리).

  • 예를 들어 NER의 경우 stanford-ner-2015-04-20/classifiers/
  • 예를 들어 POS의 경우 stanford-postagger-full-2015-04-20/models/
  • 예를 들어 파서의 경우 모델 디렉토리가 없습니다.

코드 STANFORD_MODELS에서 모델 이름을 추가하기 전에 디렉토리를 검색하는지 확인하십시오 . 또한 API는 자동으로 `CLASSPATH )에 대한 OS 환경 검색을 시도합니다.

NLTK v3.1부터는 STANFORD_JAR변수가 더 이상 사용되지 않으며 더 이상 사용되지 않습니다 . 다음 Stackoverflow 질문에있는 코드 조각이 작동하지 않을 수 있습니다.

• Stanford 종속성 파서 설정 및 NLTK
• 스탠포드 파서에 대한 nltk 인터페이스
• stanford pos tagger를 nltk로 가져 오는 데 문제가 있습니다.
• Python Nltk의 Stanford Entity Recognizer (케이스 없음)
• Stanford NLP Tagger 및 NLTK로 속도를 향상시키는 방법
• 스탠포드 NLTK 파이썬 모듈을 어떻게 구할 수 있습니까?
• 스탠포드 파서 및 NLTK 창
• NLTK를 사용한 스탠포드 NER (Named Entity Recognizer) 기능
• NLTK가있는 Stanford 파서가 빈 출력을 생성합니다.
• NLTK에서 Stanford NER Tagger를 사용하여 개인 및 조직 목록 추출
• NLTK Python에서 Stanford POS Tagger 사용 오류

Ubuntu의 STEP 3에 대한 TL; DR

export STANFORDTOOLSDIR=/home/path/to/stanford/tools/

export CLASSPATH=$STANFORDTOOLSDIR/stanford-postagger-full-2015-04-20/stanford-postagger.jar:$STANFORDTOOLSDIR/stanford-ner-2015-04-20/stanford-ner.jar:$STANFORDTOOLSDIR/stanford-parser-full-2015-04-20/stanford-parser.jar:$STANFORDTOOLSDIR/stanford-parser-full-2015-04-20/stanford-parser-3.5.2-models.jar

export STANFORD_MODELS=$STANFORDTOOLSDIR/stanford-postagger-full-2015-04-20/models:$STANFORDTOOLSDIR/stanford-ner-2015-04-20/classifiers

( Windows의 경우 : 환경 변수 설정에 대한 지침 은 https://stackoverflow.com/a/17176423/610569 참조 )

당신은 해야 다음, 파이썬을 시작하기 전에 위와 같이 변수를 설정 :

>>> from nltk.tag.stanford import StanfordPOSTagger
>>> st = StanfordPOSTagger('english-bidirectional-distsim.tagger')
>>> st.tag('What is the airspeed of an unladen swallow ?'.split())
[(u'What', u'WP'), (u'is', u'VBZ'), (u'the', u'DT'), (u'airspeed', u'NN'), (u'of', u'IN'), (u'an', u'DT'), (u'unladen', u'JJ'), (u'swallow', u'VB'), (u'?', u'.')]

>>> from nltk.tag import StanfordNERTagger
>>> st = StanfordNERTagger('english.all.3class.distsim.crf.ser.gz')
>>> st.tag('Rami Eid is studying at Stony Brook University in NY'.split())
[(u'Rami', u'PERSON'), (u'Eid', u'PERSON'), (u'is', u'O'), (u'studying', u'O'), (u'at', u'O'), (u'Stony', u'ORGANIZATION'), (u'Brook', u'ORGANIZATION'), (u'University', u'ORGANIZATION'), (u'in', u'O'), (u'NY', u'O')]


>>> from nltk.parse.stanford import StanfordParser
>>> parser=StanfordParser(model_path="edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz")
>>> list(parser.raw_parse("the quick brown fox jumps over the lazy dog"))
[Tree('ROOT', [Tree('NP', [Tree('NP', [Tree('DT', ['the']), Tree('JJ', ['quick']), Tree('JJ', ['brown']), Tree('NN', ['fox'])]), Tree('NP', [Tree('NP', [Tree('NNS', ['jumps'])]), Tree('PP', [Tree('IN', ['over']), Tree('NP', [Tree('DT', ['the']), Tree('JJ', ['lazy']), Tree('NN', ['dog'])])])])])])]

---

또는 이전 답변에서 제안한대로 Python 내부에 환경 변수를 추가해 볼 수 있지만 파서 / 태거에게 .jar파일과 모델 을 보관 한 직접 경로로 초기화하도록 직접 지시 할 수도 있습니다 .

다음 메소드를 사용하면 환경 변수를 설정할 필요가 없지만 API가 매개 변수 이름을 변경할 때 그에 따라 변경해야합니다. 그렇기 때문에 NLTK 버전에 맞게 Python 코드를 수정하는 것보다 환경 변수를 설정하는 것이 더 좋습니다.

예를 들어 ( 환경 변수를 설정하지 않고 ) :

# POS tagging:

from nltk.tag import StanfordPOSTagger

stanford_pos_dir = '/home/alvas/stanford-postagger-full-2015-04-20/'
eng_model_filename= stanford_pos_dir + 'models/english-left3words-distsim.tagger'
my_path_to_jar= stanford_pos_dir + 'stanford-postagger.jar'

st = StanfordPOSTagger(model_filename=eng_model_filename, path_to_jar=my_path_to_jar)
st.tag('What is the airspeed of an unladen swallow ?'.split())


# NER Tagging:
from nltk.tag import StanfordNERTagger

stanford_ner_dir = '/home/alvas/stanford-ner/'
eng_model_filename= stanford_ner_dir + 'classifiers/english.all.3class.distsim.crf.ser.gz'
my_path_to_jar= stanford_ner_dir + 'stanford-ner.jar'

st = StanfordNERTagger(model_filename=eng_model_filename, path_to_jar=my_path_to_jar)
st.tag('Rami Eid is studying at Stony Brook University in NY'.split())

# Parsing:
from nltk.parse.stanford import StanfordParser

stanford_parser_dir = '/home/alvas/stanford-parser/'
eng_model_path = stanford_parser_dir  + "edu/stanford/nlp/models/lexparser/englishRNN.ser.gz"
my_path_to_models_jar = stanford_parser_dir  + "stanford-parser-3.5.2-models.jar"
my_path_to_jar = stanford_parser_dir  + "stanford-parser.jar"

parser=StanfordParser(model_path=eng_model_path, path_to_models_jar=my_path_to_models_jar, path_to_jar=my_path_to_jar)