GENZITSU
commented
3 years ago トリビアからへぇを予測するAIを作り、自分の雑学を推論させた。Hee-AI(へぇあい)
具体的な取組よりも、特徴量抽出のところに心惹かれた
# from https://qiita.com/wataoka/items/164697e9b7c48e361bc5
# lambda
re_hira = re.compile(r'^[あ-ん]+$')
re_kata = re.compile(r'[\u30A1-\u30F4]+')
re_kanj = re.compile(r'^[\u4E00-\u9FD0]+$')
re_eigo = re.compile(r'^[a-zA-Z]+$')
is_hira = lambda word: not re_hira.fullmatch(word) is None
is_kata = lambda word: not re_kata.fullmatch(word) is None
is_eigo = lambda word: not re_eigo.fullmatch(word) is None
is_kanj = lambda word: not re_kanj.fullmatch(word) is None
def count_kata(sentence):
cnt = 0; total=0
for word in sentence.split(' '):
if word == '': continue
total += 1
if is_kata(word): cnt += 1
return cnt/total
def count_hira(sentence):
cnt = 0; total=0
for word in sentence.split(' '):
if word == '': continue
total += 1
if is_hira(word): cnt += 1
return cnt/total
def count_eigo(sentence):
cnt = 0; total=0
for word in sentence.split(' '):
if word == '': continue
total += 1
if is_eigo(word): cnt += 1
return cnt/total
def count_kanj(sentence):
cnt = 0; total=0
for word in sentence.split(' '):
if word == '': continue
total += 1
if is_kanj(word): cnt += 1
return cnt/total感想
ひらがな/カタカナ/英語/漢字の文字数をカウントするのにこんな方法があったとは...
GBDTのハイパーパラメータの意味を図で理解しつつチューニングを学ぶ
GBDTのパラメータを視覚的に理解する記事。 個人的に気になった箇所
num_leaves (max_leaves)
確かにダイナミックに形が変わる。
明示的にX割にしたい局面ってあるんだろうか...?(素人並感)
最重要なパラメータtop3
計算速度を上げるには？
リソースを増やす
分割の負担を減らす
木の数を減らす
精度を上げるには
過学習を避ける
感想
数%を求めた真面目なチューニングをしたことがあまりないが、網羅的にまとまっているのはとても助かる。
図があるので、狙っている効果かどうかの確認ができてとても良い。
出典
元記事