This crazy bird has been fighting its own image in my bathroom window every day since the beginning of the pandemic, starting around 5:30 am. Every single day. A series of thumps, when it tries to fight itself and loses the fight against itself, several times a day. Yes, a whole series of new self-defeating metaphors is always unfolding on my mind when I wake up to this inglorious battle.
We've tried everything to dissuade it from attacking its own image, the only thing that worked was covering the whole window in Manila paper. I thought that high summer would calm it down and took the Manila paper off. oh well, it hasn't worked at all.
By now I am fairly convinced that one of the non-existent Deities on Duty has decided that I do have to live through this bird's nightmare, as a form of punishment. please send comforting thoughts!
Many people are noticing how, instead of feeling less tired, as they do not have to commute to work, the lockdown, the social-distancing, and working from home, is making people more stressed out, more tired than before. While the reasons for this may be obvious for people with little children, it is not so clear why the same would happen to others.
Clearly, some are making bad choices. And whenever choices can be made, I can count on myself to make the bad ones: it's a natural knack I have. But it's also a consequence of the lifestyle of forever acquiring new scientific interests and not letting go of the old ones.
So I thought I wouldn't accept many reviews this year. However, I ended up in the program committees of the ACL2020, AAAI2020, IJCAI2020, ICALP2020, LICS2020, COLING2020, EMNLP2020, as well as organizing Linearity and TLLA, mentoring at the ACT Summer School and helping out with Women in Logic 2020 and the ACT conference, as well as serving on the thesis committee of Pierre Pradic, phew!!! So this made for three very intense weeks that just went by!
The group around J. Baez has come up with a Zulip channel on Category Theory (https://categorytheory.zulipchat.com/). you may need an invitation to read it, but this is easy, just ask!
I felt that Categorical Logic was not getting its due share and tried to find a few old references. This is the list I came up with, but I'm painfully aware that lots are missing from this list too. Repeating it here to try to complete it as time goes by.
We're all biased, but my version of the early history of uses of Category Theory in Computer Science has many more projects/meetings/books than the ones already mentioned in the thread above.
Examples of things missing:
Clearly a mathematician's perspective, the first AMS meeting I ever went to.
All the TYPES projects and Working Groups use Category Theory for Computer Science
The internet can be very surprising on the things it keeps, the things that disappear. Below the opening page of Hypatia, a preprint server that disappeared without a trace. Above a picture of a tweet by Julia Goedecke, celebrating women mathematicians (I was chuffed, of course!).
This post is simply a translation of John Baez' Advice to a Young Scientist to be found in his website.
Maybe a Portuguese translation is not really necessary, most of my friends in Brazil can read English, but the advice resonates tremendously with me. And having John say it, reinforces the message.
Conselhos a um Jovem Cientista
John Baez
3 de abril de 2019
Cheguei ao estágio da minha carreira no qual jovens matemáticos e físicos às vezes me pedem conselhos. Aqui vai o que eu aconselho. A maior parte se aplica a estudantes de pós-graduação e pós-doutorado em qualquer ramo da ciência, que buscam uma carreira acadêmica envolvendo pesquisa. O material que diz respeito a dar "boas palestras" será útil para quase todos os cientistas, já que a maioria dos cientistas dá palestras muito ruins. Perto do fim, tenho uma seção sobre uma questão mais especializada que muitos estudantes me perguntam: devo fazer matemática ou física?
Como se manter honesto
O grande desafio no início de uma carreira academica é conseguir um posto em uma universidade decente. Pessoalmente, consegui a minha posição antes de começar a mexer com a gravidade quântica, e essa abordagem teve algumas vantagens reais. Antes de ter um emprego permanennte, você tem que agradar as pessoas. Depois de ter o seu lugar de professor, você pode fazer o que quiser - desde que seja legal e desde que seu departamento não exerça muita pressão sobre você para obter financiamento de projetos de pesquisa. (Essa é uma das razões pelas quais eu sou mais feliz em um departamento de matemática do que em um departamento de física. Os matemáticos têm mais dificuldade em obter financiamento de projetos, então há um pouco menos de pressão para obtê-los.)
O melhor de se ter uma posição permanente é que isso significa que sua pesquisa pode ser dirigida para seus interesses reais, em vez de seguir as correntes da moda, sempre em mudança. O problema é que, para obter suas posições, muitas pessoas se tornam escravas da moda e não sabem mais o que significa seguir seus próprios interesses. Passaram os melhores anos de suas vidas tentando acompanhar os `influenciadores', em vez de desenvolver seu próprio estilo pessoal! Portanto, lembre-se de que obter seu emprego permanente é apenas a metade da luta: obter a cadeira mantendo-se honesto com seus próprios interesses é a parte mais difícil.
Para se manter honesto com seus próprios interesses, você precisa garantir não perder nunca a curiosidade inocente que o interessou por ciência. Não se envolva demais com a seriedade. O universo é um lugar legal; explorar é divertido! Como disse Grothendieck:
Em nossa procura pela aquisição do conhecimento do Universo (seja ele matemático ou não), o que renova a busca não é nada mais nada menos que uma completa inocência. É neste estado de total inocência que recebemos tudo desde o momento do nosso nascimento. Embora tantas vezes objeto de nosso desprezo e de nossos medos particulares, ele está sempre em nós. Só ele pode unir humildade com ousadia, de modo a permitir-nos penetrar no coração das coisas, ou permitir que as coisas entrem em nós e tomem posse de nós.
Esse poder único não é de forma alguma um privilégio concedido a "talentos excepcionais" - pessoas com incrível poder cerebral (por exemplo), que são mais capazes de manipular, com destreza e facilidade, uma enorme massa de dados, idéias e habilidades especializadas. Tais dons são inegavelmente valiosos e certamente dignos de inveja daqueles que (como eu) não são tão "dotados de nascença, para muito além do comum".
No entanto, não são esses dons, nem a ambição mais determinada, combinada com irresistível força de vontade, que permitem superar as "fronteiras invisíveis, porém formidáveis", que circundam nosso universo. Somente a inocência pode superá-las, o que o mero conhecimento nem leva em consideração, nos momentos em que nos encontramos capazes de ouvir as coisas, total e intensamente absortos em brincadeiras de crianças.
Então, continue brincando com todo tipo de idéias, técnicas e ferramentas. Leia vorazmente. Não tenha medo dos especialistas e do seu jargão. Torne-se um especialista você mesmo, mas depois desmonte o truque, explicando as coisas na linguagem mais simples possível. Converse com muitas pessoas! Ensine o que puder; aprenda com todo mundo; não se preocupe muito em impressionar as pessoas. Não tenha medo de fazer perguntas básicas - e não se surpreenda quando ninguém souber as respostas. As perguntas mais simples são as últimas a serem respondidas.
Mas enquanto estou pontificando, me deixe acrescentar algumas dicas "práticas" - alguns dirão até cínicas - também. Para ter sucesso, você precisa ser idealista e prático ao mesmo tempo.
Algumas dicas práticas
Vá a escola de maior
prestígio que voce conseguir e trabalhe com o/a melhor orientador/a
possível. Um bom orientador providenciará um tópico importante sobre o
qual você poderá obter resultados que as pessoas acharão interessantes.
Um bom orientador/a será tão famoso que apenas ser aluno dele/a fará com
que as pessoas se interessem por você. Um bom orientador irá ajudá-lo
quando chegar a hora de conseguir um emprego. Um bom orientador/a estará
politicamente bem conectado e lubrificará seu caminho diretamente para
os bosques sagrados da academia. Um bom orientador também te faz
trabalhar que nem uma mula e te dá medo, esperando que você saiba sobre
milhões de coisas - não deixe que isso o afaste do seu bom orientador/a.
Publicar.
Publique
trabalhos que obtenham resultados definitivos sobre assuntos da moda,
para que sejam citados. Publique trabalhos que abram novas e promissoras
linhas de investigação. Publique trabalhos que as pessoas possam
realmente ler - mas não conte a ninguém esse truque, ou todos começarão a
fazê-lo, e então onde você fica? Publique trabalhos que mostrem que
você tem seu próprio programa de pesquisa. Publique trabalhos que criem
uma onda de choque no momento em que chegam no ArXiv! Mas o mais
importante: publique.
Vá a conferências. Há um número
infinito de conferências e você deve frequentá-las. Faça muitas
palestras, converse com muitas pessoas, faça conexões, descubra onde
estão os empregos, descubra no que as pessoas estão trabalhando,
descubra no que as pessoas estarão trabalhando em breve. Divirta-se e
seja divertido. E acima de tudo: dê boas palestras!
Dando Boas Palestras
As pessoas devem sair das suas palestras mais felizes e sábias do que quando entraram. Muitas vezes dá-se o contrário. Seja uma exceção. Suas palestras devem ser claras, concisas, divertidas, empolgantes e nunca devem durar mais do que o tempo anunciado. Cada minuto extra que sua palestra tem, 10% a mais da platéia decidirá que você é um idiota e começará a fantasiar sobre como voce podia cair em um alçapão e nunca mais ser visto.
Pratique suas palestras! Faça palestras na frente de uma câmera de vídeo e veja como você parece bobo olhando para o projetor, bloqueando a visão da platéia com sua própria sombra, murmurando "omega ao quadrado vezes fi vezes psi ao cubo de teta" como um cientista louco quando você realmente podia estar olhando para o público e dizendo algo legal.
Observe-se lutando para ligar o ponteiro laser, tropeçando no fio do microfone, procurando a próxima transparência, lutando para deslizar lentamente um pedaço de papel pela transparência num striptease intelectual patético, lutando desesperadamente contra a Microsoft para abrir sua apresentação Powerpoint, fazendo todo tipo de palhaçadas inúteis, que distraem a plateia do assunto importante, desperdiçando um tempo precioso, entediando as pessoas até a morte. E resolva melhorar!
Você está no palco: seja divertido! Não mostre às pessoas as equações que elas realmente não precisam ver - é para isso que servem os artigos de periódicos. Transmita sua sabedoria em frases memoráveis. Seja eloquente. Seja formidável, mas divertido. E acima de tudo, convença as pessoas de que você é alguém que elas gostariam de ter por perto. Sim, alguém que eles gostariam de trabalhar com.
[Tem mais conselhos interessantes, especialmente a sugestao de ler o Gian-Carlo Rota, em
Ten
Lessons I Wish Had Been Taught, mas eu estou tendo problemas com o Blogger e fico por aqui.]
Many thanks to Andrea Loparic for help with the translation!
This is the husband's workbench. I think it looks lovely and definitely would love to have one of my own--I think. Instead, I have one in GitHub: LLTP a linear logic theorem prover benchmark of sorts, https://github.com/meta-logic/lltp.
Together with friends Carlos Olarte, Elaine Pimentel and Giselle Reis, this gave rise to a talk by Elaine at Linearity'2018 (at Oxford) and a technical report The ILLTP Library for Intuitionistic Linear Logic by Carlos Olarte, Valeria de Paiva, Elaine Pimentel and Giselle Reis. In Proceedings Linearity-TLLA 2018, arXiv:1904.06850. Olivier Laurent is also part of the group developing the library of problems, but he wasn't part of the technical report.
I talked about this work at IMPA, in July 2019. I am now thinking about what I want to do with this work.
SICK, the dataset, stands for Sentences Involving Compositional Knowledge, nothing more. In particular, it has nothing to do with the coronavirus apocalypse, we're living now. Actually, the 'nothing more' above is an exaggeration. There was an EU-funded project COMPOSES (2010-2014) and they have many interesting publications. But the main references seem to be:
L. Bentivogli, R. Bernardi, M. Marelli, S. Menini, M.
Baroni and R. Zamparelli (2016). SICK Through the SemEval Glasses.
Lesson learned from the evaluation of compositional distributional semantic models on full sentences through semantic relatedness and textual entailment. Journal of Language Resources and Evaluation, 50(1),
95-124
My history here begins when, in 2016, Google announced Parsey McParseface(for the name see Boaty McBoatface). I thought it was time to check SICK using SyntaxNet and other off-the-shelf tools, like WordNet and SUMO. The promise of near-human parsing accuracy (94% they said), a dataset curated by linguists to be simple and concrete (no temporal phenomena, no named entities, no multiword expressions, no coreference, they said) and with a small vocabulary (2K content words), I thought "we can do this!".
The GitHub repo https://github.com/vcvpaiva/rte-sick has the processing results of this work with Alexandre and Chalub. I still want to write something about what we learned from this first experiment. later.
But more importantly, in 2017, Katerina, Livy and I got together and we did several bits of work checking the SICK corpus. A partial list is below in reverse chronological order and the GitHub repo is SICK-processing. So what did we do?
First, we realized that many (but we didn't know how many) of the annotations provided by the SICK turkers did not agree with our intuitions. We talked about this in Textual Inference: getting logic from humans, explaining that we believe that our systems should learn from datasets that agree with human experience. In particular, we discussed the single implication cases in SICK, where we expected to find many problems. (anyone who has tried to teach logic has noticed how the difference between single implications and double implications is hard to introduce to students.) Continuing our study of the SICK dataset, we showed that contradictions were not working well, probably because different annotators understood the task differently from others. This time we could quantify the issue and we wrote Correcting Contradictions, where we drove the point that contradictions need to be symmetric and they weren't in the annotations.
We then provided a simple method for detecting easier inferences, when the sentences compared were only "one-word apart", for a slightly special version of the phrase "one-word apart". This was written up in WordNet for “Easy” Textual Inferences. We then described briefly the kind of graphical representations, geared towards inference that we wanted to produce in Graph Knowledge Representations for SICK. We also produce with many other friends a Portuguese version of the SICK corpus in SICK-BR: a Portuguese corpus for inference.
Then we started a collaboration with Martha Palmer and Annebeth Buis in Colorado (the picture has Katerina, Martha, Annebeth and Livy at ACL2019), where we investigated how much of the issues we had were examples of annotation problems. From this experiment, we wrote Explaining Simple Natural Language Inference, where we point out that without clear guidelines experiments on inference do not produce sensible results, that explanations from annotators are really useful to improve annotation quality and that certain linguistic phenomena seem hard for humans, let alone machines.
Meanwhile, our system is getting better all the time and other people's systems are getting better too. I really would like to be able to incorporate the best of all the systems and see if we can complement each other. No, I don't know how to do it, yet. But I would like to take this "sheltering-at-home" time to think about it. (see below the references).
Aikaterini-Lida Kalouli, Livy Real, Valeria de Paiva. Textual Inference: getting logic from humans. Proceedings of the 12th International Conference on Computational Semantics (IWCS), 22 September 2017. Held in Montpellier, France. [PDF]
Aikaterini-Lida Kalouli, Livy Real, Valeria de Paiva. Correcting Contradictions. Proceedings of the Computing Natural Language Inference (CONLI) Workshop, 19 September 2017. Held in Montpellier, France. [PDF]
Aikaterini-Lida Kalouli, Livy Real, Valeria de Paiva. WordNet for “Easy” Textual Inferences. Proceedings of the Globalex Workshop, associated with LREC 2018, 08 May 2018. Miyazaki, Japan. [PDF]
Katerina Kalouli, Dick Crouch, Valeria de Paiva, Livy Real. Graph Knowledge Representations for SICK. informal Proceedings of the 5th Workshop on Natural Language and Computer Science, Oxford, UK, 08 July 2018. short paper. [PDF]
Livy
Real, Ana Rodrigues, Andressa Vieira e Silva, Beatriz Albiero, Bruna
Thalenberg, Bruno Guide, Cindy Silva, Guilherme de Oliveira Lima, Igor
C. S. Camara, Miloˇ Stanojevic, Rodrigo Souza, Valeria de Paiva. SICK-BR: a Portuguese corpus for inference. PROPOR2018 (International Conference on
the Computational Processing of Portuguese), Canela Brazil, 26 September
2018. [PDF]
Kalouli, A.-L., Buis, A., Real, L., Palmer, M., de Paiva, V. Explaining Simple Natural Language Inference. Proceedings of the 13th Linguistic Annotation Workshop (LAW 2019), 01 August 2019. ACL 2019, Florence, Italy. [PDF]
However, some times a leaderboard is not the best, most reasonable way of tracking progress. Let me explain why I say so and then you will see what the beautiful Mycenaean vase above has to do with it. (this whole post is about the questions I got when I spoke on Natural Language inference at SRI on 5th March. thanks for the big conversation guys! slides in "Between a Rock and a Hard Place")
For a very long time, computational linguists have been creating datasets to evaluate their semantic systems, which tended to be as varied as their syntactic systems. In particular, the FRACAS testsuite, a collection of questions and answers created in the early nineties, was meant to be about what semanticists thought computational systems should be able to do when they eventually became good enough for a basic level of understanding. As the unshared task in 2016 described it, "The FraCaS test suite was created by the FraCaS Consortium as a benchmark
for measuring and comparing the competence of semantic theories and
semantic processing systems. It contains inference problems that
collectively demonstrate basic linguistic phenomena that a semantic
theory has to account for; including quantification, plurality, anaphora,
ellipsis, tense, comparatives, and propositional attitudes. Each problem
has the form: there is some natural language input T, then there is a
natural language claim H, giving the task to determine whether H follows
from T. Problems are designed to include exactly one target phenomenon,
to exclude other phenomena, and to be independent of background knowledge."
In the 2000s a collection of shared tasks, then called Recognizing Textual Entailment (RTE) were established, running from 2006 till 2013. The ACL Wiki says that RTE was proposed as a generic task that captures major semantic inference needs across many Natural Language Processing (NLP) applications, such as Question Answering, Information Retrieval, Information Extraction, and Text Summarization. This task requires systems to recognize, given two text fragments, whether the meaning of one text (H) is entailed (can be inferred) from the other text (T).
More recently, the task has been renamed as Natural Language Inference (NLI). In Ruder's benchmark site, we read that Natural language inference is the task of determining whether a “hypothesis” is true (entailment), false (contradiction), or undetermined (neutral) given a “premise”. Now by looking at Ruder's leaderboard, you may think that things are really going well, as the community has been able to produce more than four fairly large datasets (e.g. SNLI, MultiNLI, XNLI, SciTail, etc) to measure NLI and the numbers are around the 92%, beating human performance in some cases.
What this leaderboard picture does not show is that there are at least ten or so papers that have appeared in the last two years, showing that this performance is "fake" (note the scare quotes).
While the toothbrush holder above is apparently 4000 years old, the above 90 percent results on the NLI task seem to be the result of biases on the datasets constructed to detect inference, and these are called artifacts, just like the beautiful pottery above. In particular, the first paper below (Hypothesis Only Baselines in Natural Language Inference) shows that some machine-learning models in
fact decide whether to call an inference pair entailment, contradiction or neutral, only given the first half of the pair, the hypothesis (Kudos to the John Hopkins group for this insight!). Hence they are not doing inference at all, as far as I'm concerned.
There are more papers than the ones below, but this sample should be enough to convince people that more work is needed here, as the data we have does not seem to enable learning of what is meant by humans as inference.
